weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

仅粉丝可见的微博突然不能下载

Open sa1yi2 opened this issue 3 years ago • 12 comments
trafficstars

您好,之前都没问题,4月中旬开始突然仅粉丝可见的微博不能下载了,软件自动跳过这些微博,我换了cookie还是这样,我不知道是出了什么问题

sa1yi2 avatar Apr 20 '22 14:04 sa1yi2

说cookie不对,但我换了,为什么还报错呢?我用的是我自己账号的cookie

sa1yi2 avatar Apr 20 '22 14:04 sa1yi2

这个cookie在weiboSpider可用吗?

dataabc avatar Apr 20 '22 15:04 dataabc

您说的weibo Spider是什么?我用了您最新的crawl测试上面写无效cookie,但我一直以来都是从weibo.com上扒cookie,我用了1年多都没问题……我翻了一下是4月开始不行的,我不会被ban了吧,因为从3月开始微博所有的号都要绑定手机,我的小号不能用了,我的大号我很珍惜。。。

sa1yi2 avatar Apr 20 '22 16:04 sa1yi2

weiboSpider 是作者的另外一个微博爬虫项目

banlangen1111 avatar Apr 21 '22 05:04 banlangen1111

我用了weibospider,上面写cookie错误或已过期

sa1yi2 avatar Apr 21 '22 11:04 sa1yi2

我也看了您之前的评论,说主页的cookie不通用,需要有效cookie,我也想按照您的read里的方法扒取cookie,但那个链接我不能登录,我只能用weibo.com登陆,我想知道怎么扒取呢?

sa1yi2 avatar Apr 21 '22 11:04 sa1yi2

目前我只知道用read me的方式获取cookie,你可以在com登录了,看看cn域名是不是变成登录了,如果是,就可以使用cn的cookie了。如果不行,可能需要搜索下或换个账号。

dataabc avatar Apr 21 '22 15:04 dataabc

我终于用私信获取验证码的方式登录上了weibo.cn了,用访客模式成功获取了有效cookie,但是用crawler还是不能爬取,我最后用了spider没有问题

sa1yi2 avatar Apr 22 '22 01:04 sa1yi2

能用就好。我也不清楚为什么weibo-crawler会不能爬取,如果方便,spider也不错,这俩是类似的。

dataabc avatar Apr 22 '22 09:04 dataabc

但是有个问题,在crawl里我能通过config.json里改1或者0来选择是否下载转发图片和视频,但是我在spider里没找到方法,请问怎么用?我在spider里也问了这个问题

sa1yi2 avatar Apr 22 '22 11:04 sa1yi2

@sa1yi2 目前spider还不支持下载转发图片。

dataabc avatar Apr 22 '22 14:04 dataabc

说cookie不对,但我换了,为什么还报错呢?我用的是我自己账号的cookie

你的跳过问题可能与置顶微博有关,但cookie一直错误这个问题我没遇到。

直接跳过所有微博参考 https://github.com/dataabc/weibo-crawler/issues/289#issue-1213069764

haozewu avatar Apr 23 '22 03:04 haozewu