weibo-crawler

weibo-crawler copied to clipboard

爬取得数据不全

17

在爬人民日报的微博时，我设置的时间是近一个月，但是每次爬下来只有五天的数据，请问有方法可以解决吗？

JackyWang925

关于get_weibo_json接口

1

 这个接口是怎么来的呢，我用谷歌进https://m.weibo.cn/u/USERID用F12调试没找到，想请教一下

Pythondog3

感觉新浪把这个接口大于200的page给禁掉了

3

在浏览器里打卡大于200的page，显示也是空的，已经登录了 

frozenbeanxxx

出现json报错

5

 出现如图所示报错，查找说是json数据格式应为双引号，由于对爬取内容格式不太清除，应该如何更改呢？

banlangen1111

爬一条用户信息要七八分钟正常吗？

5

用cmd爬一条用户信息（时间设到未来去）要七八分钟至少 这正常吗？

Lu-qiuqiu

无法安装依赖

9

我是MacOS High Sierra 10.13.6，但无法安装依赖，显示： chbdeMBP:weibo-crawler-master Mark$ pip install -r requirements.txt Traceback (most recent call last): File "/usr/local/bin/pip", line 9, in load_entry_point('pip==21.0.1', 'console_scripts', 'pip')() File "/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/pkg_resources/__init__.py", line 565, in load_entry_point return...

Mark199928

错误

2

weibo.py", line 21, in import requests ModuleNotFoundError: No module named 'requests' 这个错误怎么解决

RobKing9

list index out of range

2

list index out of range Traceback (most recent call last): File "D:\weibo-crawler\weibo.py", line 1606, in get_pages if (self.get_user_info() != 0): File "D:\weibo-crawler\weibo.py", line 335, in get_user_info self.user_to_database() File "D:\weibo-crawler\weibo.py", line...

JadePureOne

出现了这个，漏掉一条微博

3

2022-05-11 20:32:13,262 - ERROR - weibo.py[:752] - Extra data: line 112 column 2 (char 5454) Traceback (most recent call last): File "weibo.py", line 743, in get_one_weibo weibo = self.get_long_weibo(weibo_id) File...

JiMoDeJieFang

since_date出现报错

3

 已写入cookie chu'ci除此之外，还出现另外一个错误  请问这个如何解决呢

banlangen1111