Chen Lei
Chen Lei
运行scrapy crawl search看看。
这个我也不清楚,搜索看看。
加cookie了吗,有错误输出吗?
有可能是settings.py的日期格式不对。
我最近不方便运行程序,这个可能和scrapy有关,您可以搜索scrapy相关的方案。
感谢反馈,已经重新添加上了。
可能那时候微博还没有ip记录,这也是最近才有的。
感谢反馈。参考 #66 。
没明白每小时爬一页什么意思。threshold为5,每次爬的都很细,会很慢,这样可能比默认值多爬很多次,也有可能会出现链接不存在的情况。
cookie是scrapy官方设置的,不确定能否自动更新。建议每次爬较小的日期段,隔几次更新一下cookie,多爬几次,达到爬取大日期的目的。