weibo-crawler
weibo-crawler copied to clipboard
关于query_list是否能在 weiboSpider 中使用的问题
你好,我希望爬取用户所有包含“美国”的微博。但想请教两个问题:
- 在 weibo-crawler 的 config 文件里面添加了 cookie 之后,仍然是只能获得最近2000条微博吗?还是说会去爬取所有微博呢?
- 请问 query_list 选项可以在 weiboSpider 的 py 文件里面添加吗?
query_list是一个关键词字符串列表或以,分隔关键词的字符串,用于指定关键词搜索爬取,若为空[]或""则爬取全部微博。例如要爬取用户包含“梦想”和“希望”的微博,则设定如下:
1.添加cookie可以获取全部; 2.暂时没有在weiboSpider添加的打算,因为cookie版这样做效率很低,本程序query_list效率很高,直接使用这个也可以。
谢谢!
1.添加cookie可以获取全部; 2.暂时没有在weiboSpider添加的打算,因为cookie版这样做效率很低,本程序query_list效率很高,直接使用这个也可以。