Chen Lei
Chen Lei
程序模拟了微博搜索(s.weibo.com)，可能是微博做了限制不确定。如果您要获取更多，需要修改search.py，根据自己的策略修改，比如将大日期范围分成多个小范围，可以修改parse方法，注释掉下列代码 ``` elif page_count < self.further_threshold: # 解析当前页面i for weibo in self.parse_weibo(response): self.check_environment() yield weibo next_url = response.xpath( '//a[@class="next"]/@href').extract_first() if next_url: next_url = self.base_url + next_url yield scrapy.Request(url=next_url, callback=self.parse_page, meta={'keyword':...
crawls文件夹保存程序爬取进度，删除它看看能否爬取新关键词。
使用scrapy crawl search 看看。
去掉search后的内容，只运行scrapy crawl search看看。
有可能是软件没有安装正确，或者修改了COOKIES_ENABLED参数，这个不要修改。后缀是不是你系统设置的问题，其它文件显示后缀吗？
这个没办法实现，因为微博没有具体展示这些，只提供了这些搜索条件。程序没办法判断微博是哪种类型。
换个cmd软件看看。
@JiaHongmei 安装cmd软件，如cmder，用它运行命令行。
看不到图片。
有没有修改settings.py的COOKIES_ENABLED参数？这个参数要保持默认值，不要修改。