MediaCrawler icon indicating copy to clipboard operation
MediaCrawler copied to clipboard

Published 20 hours ago • verified publisher icon NanmiCoder

如何绕开搜索量的限制？

Open Andy0731 opened this issue 1 year ago • 1 comments

请问有什么方式能绕开搜索量的限制吗？ 我跑xhs的代码只能下载20条数据，怎样能大规模的爬数据呢？感谢！

Andy0731 avatar May 16 '24 14:05 Andy0731

cofig/base_config.py中的 CRAWLER_MAX_NOTES_COUNT参数控制数量，默认=20 只不过现在xhs web端已经有限制了，一个keyword好像是220条。

NanmiCoder avatar May 16 '24 14:05 NanmiCoder

220条也太少了，有什么方式能绕过这个限制吗？怎样能大规模的爬数据呢？

Andy0731 avatar May 17 '24 06:05 Andy0731