feapder icon indicating copy to clipboard operation
feapder copied to clipboard

Published 20 hours ago • verified publisher icon Boris-code

批次爬虫获取redis中的任务时一直阻塞，任务存在就是不去执行，重新执行采集程序又正常了

Open JeffreyLiuJunJie opened this issue 1 year ago • 3 comments
trafficstars

image

JeffreyLiuJunJie avatar Feb 01 '24 10:02 JeffreyLiuJunJie

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT

xx299x avatar Mar 21 '24 02:03 xx299x

确保 COLLECTOR_TASK_COUNT <= SPIDER_THREAD_COUNT 我设置的都是32

JeffreyLiuJunJie avatar Mar 28 '24 02:03 JeffreyLiuJunJie

这种情况 你要去redis里看看任务 是不是 有问题，消费的条件是 sore小于当前时间戳，且 parse_name 和 爬虫名一样

Boris-code avatar Apr 28 '24 07:04 Boris-code