Chen Lei
Chen Lei
如果方便,能否告知解决方法,方便后来的使用者,谢谢。
感谢回复。 两个版本数据库不同问题我也考虑过,因为它们字段不同,所以就设计了两个不同的数据表,后面会再考虑是否统一,也会继续优化时间问题。 再次感谢回复和建议。
如果是路径,这样配置文件 ``` "user_id_list": "C:\Users\PC\Downloads\weibo-crawler-master\user_id_list.txt"; ```
换成 ``` $ pip3 install -r requirements.txt ```
因为你使用的是python2,安装的是python3的依赖,换成 ``` $ python3 weibo.py ```
应该是速度太快,被暂时限制了,限制一段时间会自动解除,尽量放慢速度,增大sleep的值,以免被限制。
修改get_pages方法 ``` def get_pages(self): """获取全部微博""" ... if (page - page1) % random_pages == 0 and page < page_count: sleep(random.randint(6, 10)) page1 = page random_pages = random.randint(1, 5) ... ``` 增大sleep的数字,它代表暂停的时间,或者把random.randint的5改成更小的正整数,它代表每爬多少页暂停。
@akafanfan 需要安装requests包
这是接口限制,应该需要关注这个微博的微博cookie才可以获取。
加上有效cookie应该可以解决。