weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频

Results 280 weibo-crawler issues
Sort by recently updated
recently updated
newest added

获取内容时显示成功获取到数据,但是不会下载,且在下方显示出微博的链接

四天前还可以抓取数据,今天再次使用出现请求失败,错误信息:432 Client Error: for url: https://m.weibo.cn/api/container/getIndex?containerid=100505+user_id 等待10秒后重试。有没有相同问题的朋友,如何解决,感谢。

昨天遇到的,换了新cookie也没用,弹出的验证码页面没有内容,帐号没问题可以正常使用,是被封ip还是限流了或者其它的问题,有没有一样的帮忙解答一下。

最近下载的时候经常弹出登录验证,基本爬取几页就要验证一下,下载资源的时候验证的次数少一点,请问是大概什么原因?

我注意到get_long_weibo中的: html = self.session.get(url, headers=self.headers, verify=False).text html = html[html.find('"status":') :] html = html[: html.rfind('"call"')] html = html[: html.rfind(",")] html = "{" + html + "}" js = json.loads(html, strict=False) weibo_info...

大佬您好,当前基于用户id只获取用户信息的板块,好像存在无法获取用户IP属性的问题,爬取出来的是空白,同时类似的还有教育、生日等信息, 但是我在开发者模式中看到是有这些信息的,有没有什么办法可以调整后读取这些内容呢? ![Image](https://github.com/user-attachments/assets/47dc0cb5-dd8a-4e3f-a9fa-ca06ca414a5a)

程序是从since_date获取到当前运行时间的内容,怎么样获取给定时间段的内容,自定义end_date

![Image](https://github.com/user-attachments/assets/70109a0b-469d-4843-a66a-672e3423941b)

请求失败,错误信息:HTTPSConnectionPool(host='m.weibo.cn', port=443): Max retries exceeded with url: /api/container/getIndex?containerid=1005057872567117 (Caused by ProxyError('Unable to connect to proxy', FileNotFoundError(2, 'No such file or directory')))。等待 10 秒后重试...