weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

Published 20 hours ago • verified publisher icon dataabc

爬虫速度好慢

Open xubing8 opened this issue 1 year ago • 2 comments

现在速度超级慢，不到1000条微博，需要两个小时

xubing8 avatar Oct 26 '24 09:10 xubing8

因为添加了sleep等待代码，注释了sleep代码会使速度变快，或者把sleep里的数字改小，不过这样会增加被限制的风险，不建议。

dataabc avatar Oct 26 '24 14:10 dataabc

我现在爬取，有时会打印同一个链接好多次，不知道是否会被ban，慢点没关系，只要别断掉就好

MiSanl avatar Nov 02 '24 14:11 MiSanl