weibo-crawler

weibo-crawler copied to clipboard

大佬，Progress: 0%，但是“现实微博爬取完成，共爬取0条微博”该怎么解决啊，cookie是有效的

5

(weibo-crawler) E:\weibo-crawler>python weibo.py 成功获取到用户 2311331195 的信息。 准备搜集 深圳地铁 的微博 Progress: 0%| | 0/191 [00:00

Fern-Parker

有偿

y1n9chen

\weibo-crawler-master\weibo\昵称\img

2

\weibo-crawler-master\weibo\昵称\img 保存图片时候怎么变成\weibo-crawler-master\weibo\id\img

nonoerror

2025.6.19无法使用了？请求失败，错误信息：432 Client Error:

22

请求失败，错误信息：432 Client Error: for url: https://m.weibo.cn/api/container/getIndex?containerid=1005057340229276。等待 10 秒后重试...

Charrine

fix: 432 Client Error by updatding user-agent info

1

update typo err for User_Agent

alloevil

关于评论和转发的互动量

2

大佬好，爬取评论和转发的时候可以爬到评论和转发的点赞评论数量吗？

ygong23

想问下大佬可以爬取每条微博的链接吗？

1

想问一下大佬，可以在爬取的时候能把源微博对于的url也爬取到吗？这样就不用再进用户主页去搜索微博来定位了，而是直接点击链接进入对应的微博。

XMWell

命名建议

1

建议以"create_time type nickname desc" 即是“发微博时间-文件类型-微博id-文案” 的格式命名下载好的文件 如“2024-09-02 09.26.26-图片-冬日限定妮-白鹿_4” 表示博主“冬日限定妮”在“2024-09-02 09时26分26秒”发布了文案为“白鹿”且此为第“4” 张 “图片”

sean0157

使用query list时since date似乎无效

3

最近开始尝试在user id list里面加入第四个参数query list，docker运行，用sqlite的数据库，设置了每天跑一次，试了几天 虽然每次完成后都有自动写入最后运行时间，但是下次运行时依旧每个搜索关键词跑一遍，而且第一次运行之后，接下来每一次运行总会下载一小部分（远）早于最后运行日期的微博的图片和视频，也不确定是覆盖掉了前面运行时候的下载，是搜索结果发生了变化，还是什么问题。 相比之下，在不加人query list的时候，每个微博ID在两次运行之间，如果没有新的微博，可以马上就判断完成，等待爬取下一个ID。

socratesng

想问下为什么微博全文内容显示不出来了呢，谢谢！

3

想问下为什么现在爬取显示不了全文啦，以前都可以的，是我的原因吗？ 

NXY11