weibo-search
weibo-search copied to clipboard
显示一直在爬取,但是结果文件的修改时间停留在某个点,正常吗?
以及打开结果文件时还能同时爬数据吗?
可能有重复的,没有保存,或者参考 #69
那这种情况应该停止爬取吗,还是按照69修改,修改后要重新爬还是先暂停再爬。还有一个小问题:是不是结果文件打开的同时不能爬数据。
程序没记忆,一次运行期间能去重,但多个运行之间没记忆,会重复写入csv,如果不介意,可以重爬。 打开文件就不能写入了,不要在运行时打开。