weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

爬取中断后再次爬取无反应

Open DoloresTu opened this issue 2 years ago • 3 comments

image 我发现它一直在爬取同一条微博后Ctrl +C 中止了爬取,再次使用scrapy crawl search -s JOBDIR=crawls/search后无反应

DoloresTu avatar Nov 22 '23 03:11 DoloresTu

因为你可能连按了两次Ctrl+C,这样无法保存进度,需要结束时按一次,等程序运行一会会自动停止。现在要运行,要删除crawls文件夹的进度文件,或者把命令行crawls后的部分改成其它名字。

dataabc avatar Nov 22 '23 17:11 dataabc

因为你可能连按了两次Ctrl+C,这样无法保存进度,需要结束时按一次,等程序运行一会会自动停止。现在要运行,要删除crawls文件夹的进度文件,或者把命令行crawls后的部分改成其它名字。

请问等待程序运行结束期间程序还会继续爬取代码吗?

DoloresTu avatar Dec 04 '23 14:12 DoloresTu

应该还会继续爬取很小一部分。

dataabc avatar Dec 04 '23 16:12 dataabc