有什么方法主动停掉爬虫吗?

[ybw-github]

trafficstars

就像scrapy的信号机制那样? 我的项目实际运行过程中有两个问题, 代理和token都有限制, 我需要在middleware中先判断两者是否有效, 都有效时修改url/headers/proxies等参数正常请求. 其中一个无效都需要停掉爬虫等待定时任务下次启动. 这个项目又用到batch_spider, 目前的解决方案有些复杂. 检测到代理或token失效时, 把task表中所有非1的任务更新成-1, 让爬虫以为本批次全部完成正常结束; 下次定时任务再把-1改0, 同时还要把record中的完成状态改0, 让爬虫启动~

[Boris-code]

os._exit(0)