weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

关于query_list是否能在 weiboSpider 中使用的问题

Open Raychanan opened this issue 3 years ago • 2 comments

你好,我希望爬取用户所有包含“美国”的微博。但想请教两个问题:

  1. 在 weibo-crawler 的 config 文件里面添加了 cookie 之后,仍然是只能获得最近2000条微博吗?还是说会去爬取所有微博呢?
  2. 请问 query_list 选项可以在 weiboSpider 的 py 文件里面添加吗?
query_list是一个关键词字符串列表或以,分隔关键词的字符串,用于指定关键词搜索爬取,若为空[]或""则爬取全部微博。例如要爬取用户包含“梦想”和“希望”的微博,则设定如下:

Raychanan avatar Apr 01 '21 12:04 Raychanan

1.添加cookie可以获取全部; 2.暂时没有在weiboSpider添加的打算,因为cookie版这样做效率很低,本程序query_list效率很高,直接使用这个也可以。

dataabc avatar Apr 01 '21 12:04 dataabc

谢谢!

1.添加cookie可以获取全部; 2.暂时没有在weiboSpider添加的打算,因为cookie版这样做效率很低,本程序query_list效率很高,直接使用这个也可以。

Raychanan avatar Apr 01 '21 13:04 Raychanan