MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

[问题] 小红书限制爬取多少个博文是比较可取的,还是也是只能一个关键词爬200篇笔记?(文科生不太懂这个)

Open curry471 opened this issue 7 months ago • 5 comments

⚠️ 提交前确认

  • [ ] 我已经仔细阅读了项目使用过程中的常见问题汇总
  • [x] 我已经搜索并查看了已关闭的issues
  • [ ] 我确认这不是由于滑块验证码、Cookie过期、Cookie提取错误、平台风控等常见原因导致的问题

❓ 问题描述

🔍 使用场景

  • 目标平台: (如:小红书/抖音/微博等)
  • 使用功能: (如:关键词搜索/用户主页爬取等)

💻 环境信息

  • 操作系统:
  • Python版本:
  • 是否使用IP代理:
  • 是否使用VPN翻墙软件:
  • 目标平台(抖音/小红书/微博等):

📋 错误日志

在此粘贴完整的错误日志

📷 错误截图

curry471 avatar May 21 '25 15:05 curry471

以及如何获取评论与博文的发布时间

curry471 avatar May 21 '25 15:05 curry471

博文和评论时间程序会爬取的,第一次爬可以试着多爬点,大概200左右,按热度排评论100以后基本没啥意义了,间隔时间用随机函数设定在5~20之间可以规避下风控,准备两个账号

inexile7600 avatar May 22 '25 01:05 inexile7600

博文和评论时间程序会爬取的,第一次爬可以试着多爬点,大概200左右,按热度排评论100以后基本没啥意义了,间隔时间用随机函数设定在5~20之间可以规避下风控,准备两个账号

好滴谢谢

curry471 avatar May 22 '25 05:05 curry471

有没有办法通过关键词搜索到更多的小红书文章啊?目前就240个左右 想要分析一个话题的讨论情况 所以需要时间跨度大一点的

Dolly1013 avatar Jun 03 '25 06:06 Dolly1013

有没有办法通过关键词搜索到更多的小红书文章啊?目前就240个左右 想要分析一个话题的讨论情况 所以需要时间跨度大一点的

小红书是限流的,你在电脑端和手机端的浏览器上使用关键字搜索,它也是最多返回这么多数据,其它平台的解决方案,例如b站和微博都提供了按照时间段筛选数据的,但是小红书没有,所以你要是要分析话题的讨论情况,要么就是挑b站、微博这种能爬更多数据的平台,要么就是选包含小红书在内的多个平台一起爬取,然后把不同平台的数据进行一个整合,只保留相同含义的字段转换为一个文件,这可能要具备一些数据处理的能力,像我的话爬了b站、微博、小红书这三个平台的数据,最后也就汇总了含义相同的7个字段,但是数据量是明显提升上来了,你要是分析话题的话用多个平台也可以进一步分析不同平台的话题讨论热度、趋势或者侧重点等等。

2513502304 avatar Jul 05 '25 09:07 2513502304