weibo-crawler 似乎只能抓取前200页左右的内容

似乎只能抓取前200页左右的内容

Open yxqsophie opened this issue 3 years ago • 10 comments

如题。已经尝试过抓取不同类型的账号：政府或非政府背景的媒体（新华网，凤凰网、天涯社区等等）、普通微博大V（下厨房，原图妈），最后均停在200页左右然后便自动结束爬取，并显示“信息抓取完毕”。没有任何报错。（ps: 迪丽热巴目前一共只有一百三十多页的微博，所以能全部抓完。）

Jan 19 '22 01:01 yxqsophie

加上cookie就可以了。

Jan 19 '22 07:01 dataabc

好的，多谢！

Jan 20 '22 00:01 yxqsophie

LZ你好，请问你的问题解决了吗？我加上了cookie 但还是只能爬取大概前200页...

Jan 25 '22 17:01 biubiulightbulb

我在加上cookie后不会再在200页左右被卡掉了，但很多账号还是会在其他地方被卡掉（具体位置从几十页到几百页不等，且目测不是因为半年可见的原因），另一些则可以成功获取全部所需微博（比如凤凰网，自从2012年11月至今共有四千多页，基本都能抓到）

Jan 25 '22 18:01 yxqsophie

@biubiulightbulb 说明cookie是无效的，重新获取看看

Jan 26 '22 05:01 dataabc

@biubiulightbulb 说明cookie是无效的，重新获取看看

您好，我获取了cookie还是只能爬取200页，多次测试只能爬200页，请问是哪里有问题？

Mar 04 '22 08:03 Jovi9802

@Jovi9802 可能是账号限制，或者cookie是无效的

Mar 04 '22 10:03 dataabc

我用了四个账号测试，也用您的方法测试过cookie是有效的，还是不行哎，不清楚什么原因

Mar 05 '22 02:03 Jovi9802

@Jovi9802 换weibospider呢

Mar 05 '22 10:03 dataabc

这个试了很多次都是爬了两三百条就停了

Mar 06 '22 07:03 Jovi9802