weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

只爬取了部分微博内容

Open sa1yi2 opened this issue 4 years ago • 5 comments
trafficstars

您好,我今天爬取了一个微博账号的内容,是从2016年开始爬取的,但是爬完后发现只下载了2021年5月之后的内容,我已经添加了cookie, 然后也关注了该微博,它没有报错误,非常正常地结束了爬取,但是就是只下载了部分内容,连试了两次依然出现了这个状况,想问一下怎么解决这个问题呢?

sa1yi2 avatar Oct 16 '21 17:10 sa1yi2

是不是cookie无效呢

dataabc avatar Oct 17 '21 05:10 dataabc

但是我试了您测试用的id,挺顺利的呀

发自我的iPhone

在 2021/10/17,14:54,Chen Lei @.***> 写道:

 是不是cookie无效呢

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

sa1yi2 avatar Oct 17 '21 13:10 sa1yi2

很多id不用cookie就可以,有时候不能看没出错就认为cookie有效,最好在cookie版测试。

dataabc avatar Oct 17 '21 13:10 dataabc

我用的就是cookie版,然后按照您给的id测试过没问题,然后再爬取的,但只能爬取一部分内容,接着我想可能是我账号被ban了,又换了一个cookie,结果还是一样,所以想问是怎么回事

Chen Lei @.***> 于2021年10月17日周日 下午10:59写道:

很多id不用cookie就可以,有时候不能看没出错就认为cookie有效,最好在cookie版 https://github.com/dataabc/weiboSpider测试。

— You are receiving this because you authored the thread. Reply to this email directly, view it on GitHub https://github.com/dataabc/weibo-crawler/issues/228#issuecomment-945129828, or unsubscribe https://github.com/notifications/unsubscribe-auth/AVVOBGT2P6BN7N4SYLSTFZDUHLJFTANCNFSM5GD3KLYQ . Triage notifications on the go with GitHub Mobile for iOS https://apps.apple.com/app/apple-store/id1477376905?ct=notification-email&mt=8&pt=524675 or Android https://play.google.com/store/apps/details?id=com.github.android&referrer=utm_campaign%3Dnotification-email%26utm_medium%3Demail%26utm_source%3Dgithub.

sa1yi2 avatar Oct 17 '21 15:10 sa1yi2

可能是和获取的账号有关,比如用户设置,隐藏了一部分微博,你可以测试下其它微博,看是否有这个情况。

dataabc avatar Oct 17 '21 15:10 dataabc