能抓取的微博数目突然减少

[J-web-dotcom]

十分感谢，您开发这个代码一直特别好用，在数据收集上帮了我大忙。但突然从昨天开始，只能一次爬取200-300条微博了。前几天还能爬几千条。换了账号，换了网，刷新了无数次cookie，也尝试了两种命令方式：scrapy crawl search -s JOBDIR=crawls/search 和 scrapy crawl search。都没有用。而且特别奇怪的是，过程中偶尔有几个日期能爬取300条以上甚至700多条微博，但大部分日期能抓取的微博数都在300条左右徘徊。我实际看了网页，明明微博数目远多于300条。这是什么原因导致的呢？

[dataabc]

您可以参考 #545 。

[J-web-dotcom]

按照您建议的方法重新试了下，爬到的微博数目还是很少，应该是触发了微博反爬机制，被限流了

[wangsiao498]

十分感谢，您开发这个代码一直特别好用，在数据收集上帮了我大忙。但突然从昨天开始，只能一次爬取200-300条微博了。前几天还能爬几千条。换了账号，换了网，刷新了无数次cookie，也尝试了两种命令方式：scrapy crawl search -s JOBDIR=crawls/search 和 scrapy crawl search。都没有用。而且特别奇怪的是，过程中偶尔有几个日期能爬取300条以上甚至700多条微博，但大部分日期能抓取的微博数都在300条左右徘徊。我实际看了网页，明明微博数目远多于300条。这是什么原因导致的呢？

您好，我也是遇到了这个问题，请问最后怎么解决的呢？