webmagic icon indicating copy to clipboard operation
webmagic copied to clipboard

Published 20 hours ago • verified publisher icon code4craft

如何关闭已经入栈的请求

Open muchengyang opened this issue 6 years ago • 1 comments

描述 1、目前项目结合xxl-job https://github.com/xuxueli/xxl-job 进行任务管理，开始执行任务的时候一次把所有目标URL入栈，进行spider.run() 后，运行了几个URL后发现不是想要的结果需要停止本次爬取，这种场景下如何收到关闭爬虫？

muchengyang avatar Jun 11 '18 08:06 muchengyang

或者说在Processor中经过一定判断获取到了想要的结果，如何删除掉队列里待抓取的请求

Plume3362 avatar Sep 14 '20 09:09 Plume3362