weibo-search 请问如何估计爬虫所需的时长呢？有无办法进行进度显示设置呢？

请问如何估计爬虫所需的时长呢？有无办法进行进度显示设置呢？

Open Wayne-Zeng0625 opened this issue 3 years ago • 2 comments

请问如何估计爬虫所需的时长呢？有无办法进行进度显示设置呢？

Sep 12 '22 07:09 Wayne-Zeng0625

这个目前没有办法。

Sep 12 '22 13:09 dataabc

搜索时是不知道微博总数的，但是如果拿到了页数，可以在循环页数的时候设置

from tqdm import tqdm

for i in tqdm(range(n)):
    ......

同时要考虑拆分和并行逻辑的影响。

新特性，但非重要功能，如果您愿意 contribute 请提交 pull request.

Sep 25 '22 11:09 cloudy-sfu