weibo-search
weibo-search copied to clipboard
请问如何估计爬虫所需的时长呢?有无办法进行进度显示设置呢?
请问如何估计爬虫所需的时长呢?有无办法进行进度显示设置呢?
这个目前没有办法。
搜索时是不知道微博总数的,但是如果拿到了页数,可以在循环页数的时候设置
from tqdm import tqdm
for i in tqdm(range(n)):
......
同时要考虑拆分和并行逻辑的影响。
新特性,但非重要功能,如果您愿意 contribute 请提交 pull request.