weibo-crawler
weibo-crawler copied to clipboard
新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
代码运行出现了KeyError: 'card_group'这个错误,没有获取到用户发布的微博信息,这是怎么回事呀 ”Progress: 0%| | 1/3370 [00:09
微博更新了用户条款,使用手机号码登录的老用户已无法设置密码,通过其他方式登录获得的cookie在验证中得到无效的结果。(或者是我姿势不对?)
您好,目前的代码框架里面是否支持定时更换IP代理,避免微博封禁IP?还是说微博只会根据Cookie状况进行封禁?
mysql数据库表中插入104条数据就没新数据了,实际有194条微博,csv文件正常
明明设置了since_date,还是会爬取所有的微博
未能获取到用户信息,可能需要验证码验证。 收到的 JSON 数据:{'ok': 0, 'msg': '这里还没有内容', 'data': {'cards': []}} 检测到可能的验证码挑战,但未提供验证码 URL。请手动检查浏览器并完成验证码验证。 验证码验证失败或未完成,程序将退出。 就是在正确输入了用户id的地址后,仍然无法正确爬虫而是一直显示的这个
您好,我前几天运行还正常。今天在terminal运行时,提示since_date 格式不正确,请确认配置是否正确。我只需要获取用户信息,不需要微博信息,所以之前把json里的since date改成未来的时间了。这次不管是未来还是之前的时间,还是提示since_date 格式不正确,请确认配置是否正确。 不知道是json里的since date格式不对吗,还是weibo.py里出现了问题。谢谢
求助大佬,在爬取的user.csv文件中无法获取生日、所在地、学校以及注册时间信息,大佬有没有解决办法或者代码修改思路呀?
报一个我这边的bug,get_long_weibo()函数里面,如果requests的headers里带有cookie,那么会返回验证码页面,无法获取长微博。把headers中的Cookie给pop掉之后,就可以正常返回长微博。