MediaCrawler
MediaCrawler copied to clipboard
[问题] 请问微博按关键词搜索只能爬取50页吗,我每次都是53页左右报错停止
⚠️ 提交前确认
- [ ] 我已经仔细阅读了项目使用过程中的常见问题汇总
- [ ] 我已经搜索并查看了已关闭的issues
- [ ] 我确认这不是由于滑块验证码、Cookie过期、Cookie提取错误、平台风控等常见原因导致的问题
❓ 问题描述
🔍 使用场景
- 目标平台: (如:小红书/抖音/微博等)
- 使用功能: (如:关键词搜索/用户主页爬取等)
💻 环境信息
- 操作系统:
- Python版本:
- 是否使用IP代理:
- 是否使用VPN翻墙软件:
- 目标平台(抖音/小红书/微博等):
📋 错误日志
在此粘贴完整的错误日志
📷 错误截图
对,现在用的接口只能爬这么多页,包括你在电脑或者手机端都是只能刷出来最多50页的微博帖子,要获取更多的内容需要考虑根据时间段进行筛选,我记得有一个叫做weibo-search的github项目,他是根据最多1小时细粒度,从较大的时间跨度上按照阈值爬取,不断尝试缩小时间跨度看该话题有没有更多的数据,尽可能爬取与关键字相关的帖子,你可以参考一下那个项目