crawlab icon indicating copy to clipboard operation
crawlab copied to clipboard

增加“情景计划任务”功能

Open Zerorigin opened this issue 5 years ago • 0 comments

情景计划任务: 1、监控 MQ 的特定键集,队列不为空且相应的爬虫未运行,则按照配置好的参数启动对应的爬虫;

2、MQ 队列为空且超过指定时长,则关闭对应爬虫。

该想法充分利用分布式爬虫依赖 MQ 队列来存储及消费的特点,实现及时启动或关闭特定爬虫以释放其占用的计算资源。 另外想法 2 可以不用理会,scrapy 自带的扩展就能用来实现自动关闭爬虫自身,其它非 scrapy 爬虫也能用少量代码实现在空闲时自动关闭自身。

Zerorigin avatar Mar 26 '20 13:03 Zerorigin