weibo-crawler 关于微博的反爬

关于微博的反爬

Open dengwen168 opened this issue 4 years ago • 2 comments

请问这个脚本一次可以抓取多少数据？微博有没有反爬措施？谢谢。

Feb 19 '21 01:02 dengwen168

多少数据没测过，应该不是固定的，因为大部分微博容易爬，一些特殊的微博可能限制比较严。目前仅通过降低速度（在爬取几页后sleep一段时间）减少被限。如果还有问题，欢迎继续讨论。

Feb 19 '21 06:02 dataabc

请问如何降低速度 ? 我爬了15G 之后,就被封ip了

Nov 26 '22 07:11 flyysquirrel