weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

没有爬取最新一条微博

Open babepig018 opened this issue 2 years ago • 7 comments

爬取某用户全部微博的时候,最新一条微博会漏掉 ps:最新微博的发布时间要早于我开始爬去的时间

babepig018 avatar Aug 06 '22 07:08 babepig018

是不是最新的是置顶,我最近没法调试,不确定。

dataabc avatar Aug 06 '22 14:08 dataabc

非置顶

babepig018 avatar Aug 06 '22 16:08 babepig018

如果方便,可以先使用weibispider,这个是可以获取最新一条的。

dataabc avatar Aug 07 '22 14:08 dataabc

我也发现没法获得最新的一条

libai1024 avatar Aug 25 '22 11:08 libai1024

问题找到了,现在微博我print了一下js 整理了一下格式发现 第一条微博 被包含在

libai1024 avatar Aug 25 '22 12:08 libai1024

第一条 微博消息被包含在cars 列表第一个字典的card_group键的列表中第一个元素 原因不太清楚

libai1024 avatar Aug 25 '22 12:08 libai1024

我自己的修改方案就是第一页的第一条做一个特殊判断 ,去取他的card_group作为待处理内容。

libai1024 avatar Aug 26 '22 01:08 libai1024