weiboSpider icon indicating copy to clipboard operation
weiboSpider copied to clipboard

某个微博id无法抓取到全部微博

Open wyslmt opened this issue 1 year ago • 3 comments

感谢您申报bug,为了表示感谢,如果bug确实存在,您将出现在本项目的贡献者列表里;如果您不但发现了bug,还提供了很好的解决方案,我们会邀请您以pull request的方式成为本项目的代码贡献者(Contributor);如果您多次提供很好的pull request,我们将邀请您成为本项目的协助者(Collaborator)。当然,是否提供解决方按都是自愿的。不管是否是真正的bug、是否提供解决方案,我们都感谢您对本项目的帮助。

  • 问:请您指明哪个版本出了bug(github版/PyPi版/全部)?

答:github版源码运行

  • 问:您使用的是否是最新的程序(是/否)?

答:是

  • 问:爬取任意用户都会复现此bug吗(是/否)?

答:否

  • 问:若只有爬特定微博时才出bug,能否提供出错微博的weibo_id或url(非必填)?

答:weibo_id:2139155362

  • 问:若您已提供出错微博的weibo_id或url,可忽略此内容,否则能否提供出错账号的user_id及您配置的since_date,方便我们定位出错微博(非必填)?

答:"since_date": “1970-01-01”, "end_date": "now",

  • 问:如果方便,请您描述bug详情,如果代码报错,最好附上错误提示。

答:页面浏览可以加载到2017-02-08最后一条微博,程序只能抓取到2023-02-18这天就停止运行了(正常结束,提示信息抓取完毕),只有这个微博id是这样,其他id暂未发现这个情况

感谢作者的程序~~~

wyslmt avatar Oct 15 '24 03:10 wyslmt

user id是通过txt文件输入,还是直接写在config里?

dataabc avatar Oct 15 '24 08:10 dataabc

直接写在config.json的

wyslmt avatar Oct 15 '24 08:10 wyslmt

这个我也没想明白,可能速度太快吧,不确定。

dataabc avatar Oct 15 '24 16:10 dataabc

https://weibo.cn/2139155362/profile?page=13 这个是当前使用的接口,确实只能获取到部分数据,通过https://weibo.com/ajax/statuses/mymblog?uid=2139155362&page=24&feature=0 这个接口可以获取所有数据。它的最远为2016年5月22日

korruz avatar Nov 01 '24 13:11 korruz

大佬, 我也遇到类似的问题:无法下载全部微博, 1.微博主页:https://weibo.com/u/6054746160,微博id为 6054746160 1.不使用cookie时,程序运行从最新到2023-06-09号停止了(设置的时间是到1900-01-01),再设置从停止的位置继续的时候就无法下载了。 2.使用cookie时,试了好几次,大概1分钟后,就提示“经检查,cookie无效,系统退出”,是我的微博cookie有问题吗? 3.https://weibo.com/ajax/statuses/mymblog?uid=6054746160&page=24&feature=0,有没有什么办法能下载这也接口的所有微博啊?

0xnicai avatar Nov 11 '24 14:11 0xnicai

@0xnicai 本程序不使用cookie是不能下载的,你使用的可能是免cookie版。如果程序提示cookie无效,一般就可能是cookie无效。免cookie版部分微博也是需要cookie的,否则无法下载全部。你说的这个接口我没研究过,不清楚。

dataabc avatar Nov 11 '24 14:11 dataabc

感谢大佬, “如果程序提示cookie无效,一般就可能是cookie无效。”是不是要换个微博账号,重新填cookie啊?

0xnicai avatar Nov 11 '24 14:11 0xnicai

@0xnicai 有可能cookie获取方法不正确,要按照readme获取。也有可能是账号问题,不确定。

dataabc avatar Nov 11 '24 16:11 dataabc

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.

stale[bot] avatar Apr 26 '25 02:04 stale[bot]

Closing as stale, please reopen if you'd like to work on this further.

stale[bot] avatar May 06 '25 05:05 stale[bot]