weibo-crawler icon indicating copy to clipboard operation
weibo-crawler copied to clipboard

使用query list时since date似乎无效

Open socratesng opened this issue 6 months ago • 3 comments

最近开始尝试在user id list里面加入第四个参数query list,docker运行,用sqlite的数据库,设置了每天跑一次,试了几天

虽然每次完成后都有自动写入最后运行时间,但是下次运行时依旧每个搜索关键词跑一遍,而且第一次运行之后,接下来每一次运行总会下载一小部分(远)早于最后运行日期的微博的图片和视频,也不确定是覆盖掉了前面运行时候的下载,是搜索结果发生了变化,还是什么问题。

相比之下,在不加人query list的时候,每个微博ID在两次运行之间,如果没有新的微博,可以马上就判断完成,等待爬取下一个ID。

socratesng avatar May 17 '25 03:05 socratesng