59行偶尔报错

[PhoebusSi]

trafficstars

('Error: ', AttributeError("'NoneType' object has no attribute 'xpath'",)) Traceback (most recent call last): File "weibo_follow.py", line 135, in start self.get_follow_list() # 爬取微博信息 File "weibo_follow.py", line 85, in get_follow_list page_num = self.get_page_num() File "weibo_follow.py", line 59, in get_page_num if selector.xpath("//input[@name='mp']") == []: AttributeError: 'NoneType' object has no attribute 'xpath'

不做任何改动，有时候过了几分钟再运行就好了，但是运行到某一处又会报这个错误然后停下来

[dataabc]

这貌似是速度太快，修改get_one_page，在print和url之间添加

 sleep(random.randint(1, 5))

每1页随机等待1到5秒，这样应该可以。

另外问一下，现在cookie是如何获取的？还是按照readme的方法，还是其它，readme中cookie方法是否有问题，如果有改进方案，能否告知，以便帮助更多人，感谢。

[PhoebusSi]

感谢回复，我试了一下，有时候有这个报错信息： 关注列表爬取进度: 0%| | 0/20 [00:00<?, ?it/s]------------------------------第1页------------------------------

('Error: ', AttributeError("'NoneType' object has no attribute 'xpath'",)) Traceback (most recent call last): File "weibo_follow.py", line 137, in start self.get_follow_list() # 爬取微博信息 File "weibo_follow.py", line 92, in get_follow_list self.get_one_page(page) File "weibo_follow.py", line 73, in get_one_page table_list = selector.xpath('//table') AttributeError: 'NoneType' object has no attribute 'xpath'

报错位置有改变，现象还是一样的，有时候运行不出来，可能过一段时间就好了。 不过一旦运行起来就不会像之前一样爬几个人就停了。

关于cookie我还是按照readdme的方法，过了一段时间后cookie改变了就又管用了。

[dataabc]

感谢反馈。

其实原因还是速度快，可以再sleep时间长一些，降低被限制概率。

如果还有问题欢迎继续讨论。