weibo-crawler
weibo-crawler copied to clipboard
新浪微博爬虫,用python爬取新浪微博数据,并下载微博图片和微博视频
半年可见限制
如题,有什么办法或者思路获取设置半年限制的账户半年以前的数据吗
在爬取评论时候,接口url里的max_id_type似乎不一定是0,在翻页之后有可能会变成1 `if max_id: params["max_id"] = max_id url = "https://m.weibo.cn/comments/hotflow?max_id_type=0"` 这里可能需要加一个判断?
报错信息为: Traceback (most recent call last): File "weibo.py", line 1095, in get_one_page weibos = weibos[0]["card_group"] KeyError: 'card_group' 还有,如果有些博主的主页的ID是字母的形式,不是数字,能爬取吗
解析这条微博时发生错误 https://weibo.com/5668037476/Nnw2dvfDy ``` string indices must be integers, not 'str' Traceback (most recent call last): File "/app/weibo.py", line 874, in get_one_weibo retweet = self.parse_weibo(retweeted_status) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/app/weibo.py", line 783, in...
微博用户注册信息
非常感谢作者的分享,请问为什么爬取不到微博注册信息呢? 
数据库表问题
请问作者是否可以提供数据文档,就是字段和中文对应,感谢🙏
请教下,配置了数据库信息,但运行时提示cryptography' package is required for sha256_password or caching_sha2_password auth methods,请问这个如何解决呢?
Aug 30 版本无法下载超过9张图的原创微博,第10张起都不下载
I hope the `config.json` could support comments