Chen Lei

Results 925 comments of Chen Lei

我最近不方便运行程序,这个可能和scrapy有关,您可以搜索scrapy相关的方案。

感谢反馈,已经重新添加上了。

可能那时候微博还没有ip记录,这也是最近才有的。

没明白每小时爬一页什么意思。threshold为5,每次爬的都很细,会很慢,这样可能比默认值多爬很多次,也有可能会出现链接不存在的情况。

cookie是scrapy官方设置的,不确定能否自动更新。建议每次爬较小的日期段,隔几次更新一下cookie,多爬几次,达到爬取大日期的目的。