weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

运行过程中出现KeyError: 'card_group'

Open wyzh0912 opened this issue 2 years ago • 7 comments

报错信息为: Traceback (most recent call last): File "weibo.py", line 1095, in get_one_page weibos = weibos[0]["card_group"] KeyError: 'card_group'

还有,如果有些博主的主页的ID是字母的形式,不是数字,能爬取吗

wyzh0912 avatar Aug 15 '23 14:08 wyzh0912

爬有几个博主的内容没问题,爬另外几个博主的就出问题了

wyzh0912 avatar Aug 15 '23 15:08 wyzh0912

可能是userid不对,字母形式的也有id,readme应该有获取userid的方法。有些看似是数字,可能也不是正确id,最好用readme的方法获取userid。

dataabc avatar Aug 15 '23 16:08 dataabc

可能是userid不对,字母形式的也有id,readme应该有获取userid的方法。有些看似是数字,可能也不是正确id,最好用readme的方法获取userid。

中文id的问题解决了,确认了userid没问题,但是这个报错还是出现导致完全无法爬取内容,在爬取成功的时候,有时候也会出现这个报错。

wyzh0912 avatar Aug 15 '23 16:08 wyzh0912

在有些成功爬取的情况下,也会报这个错误,但是没有影响整体的爬取 有些就一直报错,无法爬取内容 (有些博主就没问题,有些博主的内容就爬取不了)

wyzh0912 avatar Aug 16 '23 07:08 wyzh0912

我目前不方便调试,不确定是否是接口改变了,期待其他网友解答。

dataabc avatar Aug 16 '23 16:08 dataabc

我目前不方便调试,不确定是否是接口改变了,期待其他网友解答。

谢谢您的解答,辛苦了。

wyzh0912 avatar Aug 17 '23 00:08 wyzh0912

加上cookie试一下呢?我这边加上cookie之后解决了

haohaomiao avatar Dec 12 '23 07:12 haohaomiao