weibo-search icon indicating copy to clipboard operation
weibo-search copied to clipboard

爬取数据有时候会出现时间一直在某个时间点附近

Open Seven750 opened this issue 2 years ago • 6 comments

简单的爬取了500条数据,获取的数据日期会有改变,但是改变的不多,大概几个日期的样子,但是这些数据的时间点都是在十一点后,绝大部分在十一点五十附近,但是数据又没有重复的,这是为什么呢?初次使用爬虫,是个菜鸟 imageimageimageimageimage

Seven750 avatar Apr 28 '23 15:04 Seven750

程序使用的是微博的接口,可能是它的结果超过限制只显示最新的吧猜测。

dataabc avatar Apr 28 '23 17:04 dataabc

同样遇到这个问题,爬取时间范围设置为一个月,但是一直在重复爬取最后一天23点之后的数据,请问这个该怎么解决呢

Zhaofeng0221 avatar Jun 02 '23 03:06 Zhaofeng0221

@Zhaofeng0221 把缩小时间范围,比如一天,如果想要一个月的,可以分成30次运行,每次一天,只是比较麻烦。

dataabc avatar Jun 02 '23 17:06 dataabc

我也遇到了此问题,除了23:50-24:00之间的数据是按照分钟来的,其他时间就是跳跃性间隔一个多小时甚至更长,然后没过多久就停止运行保存结果了。

baobaolaoshi avatar Jan 12 '25 06:01 baobaolaoshi

image

baobaolaoshi avatar Jan 12 '25 06:01 baobaolaoshi

@baobaolaoshi 这个可能是接口限制,程序没办法突破。

dataabc avatar Jan 12 '25 16:01 dataabc