weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

爬取指定日期范围内的微博

Open dongliangsheng opened this issue 4 years ago • 1 comments
trafficstars

首先非常感谢您的贡献,我受益良多。

不知能否适当改动一下代码,可以爬取指定日期范围内的微博?例如2020-05-05到2020-08-08。我试着尝试这样操作,但是好像无法达成。指定起始日期很方便,但是有时想爬取一些年代较久远的微博又不需要直至今日的。

期待您的回复,再次感谢。

dongliangsheng avatar Mar 02 '21 02:03 dongliangsheng

感谢建议。

这个暂时无法添加。程序无法知道起始日期在第几页,只能通过某些方法获取,还没有特别好的方式。可以手动指定微博起始页数,修改get_pages方法的self.start_page就能行,只是这样每次都得手动输入,比较麻烦。或者使用cookie版,这个是支持指定范围的,缺点是只在微博数量较少时有效,多了可能会漏爬。

如果还有问题,欢迎继续讨论。

dataabc avatar Mar 02 '21 05:03 dataabc