爬取关键词，话题数据特别不全

[maying0120]

存在的问题就是比如实际我设置的时间范围，话题，关键词等 大概有500条微博，实际只爬到了不到1/10， 然后程序就结束了。请问这个是怎么回事

[dataabc]

感谢反馈。这个可能是接口不稳定的原因。比如某关键词可能有多页，但是在未获取完全时却显示已经没有微博了，再刷新时又有了，这种目前程序还没有处理。

[maying0120]

感谢反馈。这个可能是接口不稳定的原因。比如某关键词可能有多页，但是在未获取完全时却显示已经没有微博了，再刷新时又有了，这种目前程序还没有处理。

换了不同的话题，以及换了不同的时间范围感觉每次都是存在这种情况

[dataabc]

这种情况暂时无法解决，目前程序是根据第n页判断是否存在第n+1页，如果n页出现上面的情况就不会获取下一页了，如果想避免可能需要改成for循环，暂时只想到这种方法。

[SkydustZ]

对，我也遇到这样的问题了。请教一下， 如果把parse page改为for循环应该如何避免此问题呢？

[dataabc]

@SkydustZ 可以改成for循环，最多循环50次，根据次数计算下一页。这应该能多获取微博，但还是有概率某些页面为空，但比之前应该好很多。