Chen Lei
Chen Lei
可能是网络原因,不确定。
@Inexa1 使用时尽量不要用梯子。
可能是系统的限制,程序也没办法。
这个项目做不到,需要您自己实现。
微博是去重的,但正文或许会重复,因为用户可能发布多条微博。如果想去重,可以修改pipelines.py文件最后的方法,这就是来去重的。
使用命令行scrapy crawl search看看。
可能是网络原因,或者之前爬的太多被暂时限制了。
默认路径看看,程序应该会在项目文件夹下生成结果文件夹。
感谢反馈和建议。非常好的建议,如果方便,您能否通过pull request的方式提交修改,这样会帮助到更多人,您也会成为本项目的contributor,这不是必需的。无论如何,都感谢您的热心反馈和建议。