尝试了一下，添加了cookie也只能爬200页，之后就会timeout

[00exia00]

[00exia00]

目前还看到一个报错 'NoneType' object has no attribute 'xpath'

[dataabc]

这个错误就是速度太快了，尽量放慢速度。之前加上cookie是可行的，现在我不方便调试，不知道是不是什么原因，你换cookie或用weibispider看看。

[00exia00]

cookie是添加的。

[dataabc]

cookie可能是无效的，你在weibospider看看cookie能运行吗

[1010BYang]

我也是遇到了这样的问题。

问题情况： 该微博号一共发布了25362条微博，但只采到了1854条，从2022年3月16号开始采集，最后的时间停止在2021年8月6号。

排查问题： 尝试在config.json文件中，把"start_page"值设置为200，运行之后就直接结束，提示“微博爬取完成”，没有报错，但是一条都没采到。

配置情况： { "user_id_list": ["1855080042"], "filter": 1, "remove_html_tag": 1, "since_date": "2000-01-01", "start_page": 200 "write_mode": ["csv"], "original_pic_download": 0, "retweet_pic_download": 0, "original_video_download": 0, "retweet_video_download": 0, "download_comment":0, "comment_max_download_count":100, "result_dir_name": 0, "cookie": "your cookie", "mysql_config": { "host": "localhost", "port": 3306, "user": "root", "password": "123456", "charset": "utf8mb4" } }

[dataabc]

@1010BYang 需要修改config.json，用有效cookie替换your cookie才行，否则最多得到200页。

[1010BYang]

@1010BYang 需要修改config.json，用有效cookie替换your cookie才行，否则最多得到200页。

好的，谢谢。我试了cookie版的，把cookie加上，就可以获取到全部内容了。