weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

结束后重新开始问题

Open Miaoz1 opened this issue 2 years ago • 4 comments

非常感谢您提供的资源!!使得小白的我也能爬到想要的数据,但是有一些问题,就是一段时间期限内内容的爬取自动结束之后,修改时间期限后应该如何开始?是再接着用终端粘贴scrapy crawl search -s JOBDIR=crawls/search吗?会覆盖掉原来的数据吗?还是说要先把结果文件移到其他地方呢,期待您的回复!

Miaoz1 avatar Jun 21 '23 00:06 Miaoz1

使用原来的命令就可以,不会覆盖。

dataabc avatar Jun 21 '23 16:06 dataabc

使用原来的命令继续任务后,过几秒就结束任务了。该问题可能是由cookie失效导致的,更换新的cookie后,重启项目,即可正常运行。

DawudMa avatar Aug 16 '23 05:08 DawudMa

更新:更换cookie正常运行后,半天左右,项目停止。此时更换新的cookie,修改关键词,修改日期范围再执行scrapy crawl search -s JOBDIR=crawls/search,会直接结束。但是scrapy crawl search则可以运行,但是根据终端打印的情况来看,似乎重新开始爬取了。不知道是什么原因导致的。

DawudMa avatar Aug 17 '23 02:08 DawudMa

@DawudMa 短的命令是直接运行,长的是继续之前的进度。可能之前没有正确退出,导致进度文件出错,所以再次运行直接结束。

dataabc avatar Aug 17 '23 16:08 dataabc