weibo-search
weibo-search copied to clipboard
爬取数据有时候会出现时间一直在某个时间点附近
简单的爬取了500条数据,获取的数据日期会有改变,但是改变的不多,大概几个日期的样子,但是这些数据的时间点都是在十一点后,绝大部分在十一点五十附近,但是数据又没有重复的,这是为什么呢?初次使用爬虫,是个菜鸟





程序使用的是微博的接口,可能是它的结果超过限制只显示最新的吧猜测。
同样遇到这个问题,爬取时间范围设置为一个月,但是一直在重复爬取最后一天23点之后的数据,请问这个该怎么解决呢
@Zhaofeng0221 把缩小时间范围,比如一天,如果想要一个月的,可以分成30次运行,每次一天,只是比较麻烦。
我也遇到了此问题,除了23:50-24:00之间的数据是按照分钟来的,其他时间就是跳跃性间隔一个多小时甚至更长,然后没过多久就停止运行保存结果了。
@baobaolaoshi 这个可能是接口限制,程序没办法突破。