MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

Published 20 hours ago • verified publisher icon NanmiCoder

小红书只能读取200条左右的数据。

Open Tzl4231 opened this issue 9 months ago • 4 comments

为什么我再通过关键词爬取时，最多只有220条数据。基本在220条附近

Tzl4231 avatar May 04 '24 08:05 Tzl4231

为什么我再通过关键词爬取时，最多只有220条数据。基本在220条附近

web端接口限制，只有11页，1页20条

hjhjhghghg avatar May 04 '24 15:05 hjhjhghghg

现在web端应该是限制搜索量了。

NanmiCoder avatar May 05 '24 15:05 NanmiCoder

好吧，谢谢

Tzl4231 avatar May 06 '24 02:05 Tzl4231

请问有什么方式能绕开搜索量的限制吗？ 我跑xhs的代码只能下载20条数据，怎样能大规模的爬数据呢？感谢！

Andy0731 avatar May 16 '24 14:05 Andy0731

这个真的无解吗？降低爬取的速度可以突破220条限制吗？

HildaM avatar May 28 '24 06:05 HildaM

hii 请问有解决这个问题吗？或者有没有办法设置爬去的帖子时间范围啊？比如现在我想爬上一周的帖子，这样每次我可以知道爬了哪些， 谢谢！

wenxie18 avatar Aug 11 '24 01:08 wenxie18

hii 请问有解决这个问题吗？或者有没有办法设置爬去的帖子时间范围啊？比如现在我想爬上一周的帖子，这样每次我可以知道爬了哪些， 谢谢！

同问

zcunyi avatar Aug 12 '24 04:08 zcunyi

Web端无解哈

NanmiCoder avatar Aug 12 '24 09:08 NanmiCoder