weibo-search
weibo-search copied to clipboard
爬取中断后再次爬取无反应
我发现它一直在爬取同一条微博后Ctrl +C 中止了爬取,再次使用scrapy crawl search -s JOBDIR=crawls/search后无反应
因为你可能连按了两次Ctrl+C,这样无法保存进度,需要结束时按一次,等程序运行一会会自动停止。现在要运行,要删除crawls文件夹的进度文件,或者把命令行crawls后的部分改成其它名字。
因为你可能连按了两次Ctrl+C,这样无法保存进度,需要结束时按一次,等程序运行一会会自动停止。现在要运行,要删除crawls文件夹的进度文件,或者把命令行crawls后的部分改成其它名字。
请问等待程序运行结束期间程序还会继续爬取代码吗?
应该还会继续爬取很小一部分。