weibo-crawler
weibo-crawler copied to clipboard
418 TEA POT
请问访问的时候经常遇到418怎么办?目前设置的等待时间: 每1-5个页面,睡眠3-5秒 读取下一个用户,睡眠10-20秒
我看了一下主要是在页面经常被418,让我优化一下时间到7-11秒。
而且比较巧的是,我多开进程,就算用的不同的cookie,也会同时有这个问题。是不是也和请求头有关系?能不能替换成动态的请求头来获得更高的速度?
我在抓取3000多个账号,过去5年的信息,现在的速度还是比较慢的,可能完全收集都要好几天。
我也没尝试过更高效的方法。