weibo-crawler cookie版中途变慢

一开始还挺快的，到几百页后突然就变慢了，url都要请求五条，而且获取的微博正文不是展开的全文了。又因为不能从指定日期开始爬取，又只能重新尝试从头爬取。如果这时能出现验证，就会恢复正常。请问怎么解决呢？

Feb 14 '25 10:02 C1EEEE

可能遇到长微博了，程序会尝试获取，如果5次都失败，就只能使用不展开的全文。可以设置开始爬取的页码，start_page参数，程序会从设置的页码开始爬，具体页面可以参考日志。

Feb 14 '25 11:02 dataabc

可能遇到长微博了，程序会尝试获取，如果5次都失败，就只能使用不展开的全文。可以设置开始爬取的页码，start_page参数，程序会从设置的页码开始爬，具体页面可以参考日志。

感谢答复，但是我设置开始爬取的页码后就显示cookie失效了（验证过cookie）

Feb 14 '25 19:02 C1EEEE

可能暂时被限制了，一般过一段时间限制会自动解除。

Feb 15 '25 03:02 dataabc

可能暂时被限制了，一般过一段时间限制会自动解除。

嗯，今天再次尝试还是不成功。只有在从第一页开始爬，并且先爬了提供cookie的账号之后，再爬第二个账号，这样才会正常运行，请问可能是什么原因呢？

Feb 15 '25 11:02 C1EEEE

可能cookie过期了，而且爬取cookie账号可能会出错。

Feb 16 '25 05:02 dataabc

我也遇到了这个问题，请问解决了吗？

Feb 16 '25 12:02 gxx214

我也遇到了这个问题，请问解决了吗？

跳出来的验证页面完成验证后不要叉掉，程序又变慢的时候再在那个网页点一下任意可以点开的东西，又会让你验证，这样之后程序又会正常运行

Feb 22 '25 10:02 C1EEEE

weibo-crawler weibo-crawler copied to clipboard