weibo-crawler
weibo-crawler copied to clipboard
爬取指定日期范围内的微博
trafficstars
首先非常感谢您的贡献,我受益良多。
不知能否适当改动一下代码,可以爬取指定日期范围内的微博?例如2020-05-05到2020-08-08。我试着尝试这样操作,但是好像无法达成。指定起始日期很方便,但是有时想爬取一些年代较久远的微博又不需要直至今日的。
期待您的回复,再次感谢。
感谢建议。
这个暂时无法添加。程序无法知道起始日期在第几页,只能通过某些方法获取,还没有特别好的方式。可以手动指定微博起始页数,修改get_pages方法的self.start_page就能行,只是这样每次都得手动输入,比较麻烦。或者使用cookie版,这个是支持指定范围的,缺点是只在微博数量较少时有效,多了可能会漏爬。
如果还有问题,欢迎继续讨论。