MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

[问题] 请问微博按关键词搜索只能爬取50页吗,我每次都是53页左右报错停止

Open Zakary-D opened this issue 7 months ago • 1 comments

⚠️ 提交前确认

  • [ ] 我已经仔细阅读了项目使用过程中的常见问题汇总
  • [ ] 我已经搜索并查看了已关闭的issues
  • [ ] 我确认这不是由于滑块验证码、Cookie过期、Cookie提取错误、平台风控等常见原因导致的问题

❓ 问题描述

🔍 使用场景

  • 目标平台: (如:小红书/抖音/微博等)
  • 使用功能: (如:关键词搜索/用户主页爬取等)

💻 环境信息

  • 操作系统:
  • Python版本:
  • 是否使用IP代理:
  • 是否使用VPN翻墙软件:
  • 目标平台(抖音/小红书/微博等):

📋 错误日志

在此粘贴完整的错误日志

📷 错误截图

Zakary-D avatar May 29 '25 07:05 Zakary-D

对,现在用的接口只能爬这么多页,包括你在电脑或者手机端都是只能刷出来最多50页的微博帖子,要获取更多的内容需要考虑根据时间段进行筛选,我记得有一个叫做weibo-search的github项目,他是根据最多1小时细粒度,从较大的时间跨度上按照阈值爬取,不断尝试缩小时间跨度看该话题有没有更多的数据,尽可能爬取与关键字相关的帖子,你可以参考一下那个项目

2513502304 avatar Jul 05 '25 09:07 2513502304