Chen Lei
Chen Lei
如果评论较多,程序只能获取一部分。是不是没有有效cookie?添加cookie有助于减少这类错误。
是不是最新的是置顶,我最近没法调试,不确定。
如果方便,可以先使用weibispider,这个是可以获取最新一条的。
这个在[cookie版](https://github.com/dataabc/weiboSpider)可以做到,但是不稳定,本程序没有实现这个功能。
感谢反馈。这个我也没有办法,这个特性不是我写的。
应该是你打开csv文件了,导致出错,关掉就可以了。
之前应该没这么久,不确定是不是之前获取多了被限速。
感谢反馈。我最近不方便调试,不确定具体的情况,有时间看看,如果方便,可以先使用cookie版,希望理解。
csv不能去重,如果一定要用csv,可以通过txt文件输入userid,记录爬取状态,这样仍可能会爬起上一次结束日期的微博,但相对来说,去重效果还可以。如果要严格去重,最好使用mysql模式。
需要修改write_csv方法,具体你可以搜索python写csv。