weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

显示一直在爬取,但是结果文件的修改时间停留在某个点,正常吗?

Open laiyanqi opened this issue 3 years ago • 4 comments

以及打开结果文件时还能同时爬数据吗?

laiyanqi avatar Feb 23 '22 07:02 laiyanqi

可能有重复的,没有保存,或者参考 #69

dataabc avatar Feb 23 '22 10:02 dataabc

那这种情况应该停止爬取吗,还是按照69修改,修改后要重新爬还是先暂停再爬。还有一个小问题:是不是结果文件打开的同时不能爬数据。

laiyanqi avatar Feb 23 '22 11:02 laiyanqi

程序没记忆,一次运行期间能去重,但多个运行之间没记忆,会重复写入csv,如果不介意,可以重爬。 打开文件就不能写入了,不要在运行时打开。

dataabc avatar Feb 23 '22 12:02 dataabc