crawlab
crawlab copied to clipboard
增加“情景计划任务”功能
情景计划任务: 1、监控 MQ 的特定键集,队列不为空且相应的爬虫未运行,则按照配置好的参数启动对应的爬虫;
2、MQ 队列为空且超过指定时长,则关闭对应爬虫。
该想法充分利用分布式爬虫依赖 MQ 队列来存储及消费的特点,实现及时启动或关闭特定爬虫以释放其占用的计算资源。 另外想法 2 可以不用理会,scrapy 自带的扩展就能用来实现自动关闭爬虫自身,其它非 scrapy 爬虫也能用少量代码实现在空闲时自动关闭自身。