weibo-crawler

weibo-crawler copied to clipboard

报错ModuleNotFoundError: No module named 'util'

1

requirements.txt已经pip安装过了 另外查教程安装了python_utils和opencv-python好像也没用…… 纯小白TvT谢谢大佬！

take9527

若一条微博配图超过九张，只能获取前九张图片

3

大大您好，更新了新版本后，实测保存几位博主的相册，若其一条微博配图超过九张，只能获取前九张图片，之前的版本（我四个月未更新版本）使用时并没有这个问题。

0maeshughes

关于CSV文件数据，请问出现这种情况需要修改什么地方？

4

kimoji12138

正文需要展开的时候剩下的部分会存成"...全文"

2

gghrgr

微博爬取过程中报错导致部分微博未能成功获取

3

在爬取部分用户微博时会出现list index out of range和'NoneType' object has no attribute 'xpath'错误导致程序跳过数条微博，其中包括公开微博和仅粉丝可见的微博。 运行时使用Cookie，在使用weiboSpider项目时可以正常运行。 运行日志如下： [all.log](https://github.com/dataabc/weibo-crawler/files/10172258/all.log) [error.log](https://github.com/dataabc/weibo-crawler/files/10172259/error.log)

Noeinmaxwell

设置"query_list": 关键词，爬取微博信息只有前3页

1

把这个"query_list":去掉，能正常爬取

gchcode

为什么只能爬取200页左右？

3

为什么只能爬取200页左右？是因为微博的原因吗？还是什么原因？cookie也设置了没问题。

tx-1011

按年龄过滤

3

您好，请问是否支持年龄过滤要爬取的user呢

Zx1999

上次爬到博主设置的不可见日期后还会报错继续爬 需要手动停止 这次直接卡住了 还没开始下图片视频

6

这是在后台继续无用功爬不可见的部分吗? 但是后面有1000多页 可见部分也没下完 而且今天不知道为什么特别慢 不知道要不要继续等

gghrgr

转发时候带的图片貌似不能下吧？还有，超话微博不能写入sqlite，貌似是因为那个超话图标

6

gghrgr