worldly 爬取评论问题

不知道遇没遇到这样的问题：如果歌曲评论数比较多，中间日期的评论无法获得，比如我爬一个20w+评论的歌曲，结果只得到2w左右的评论，其他的全是重复内容（实际发现，爬取中间日期评论时，后台返回的结果都是一样的）。

Dec 13 '18 06:12 Archiewyq

有可能接口有变化，可以自己看下。我好久没爬了。

Dec 13 '18 06:12 stoneworld

发现有人遇到过这样的问题，不过没有找到相关解决方法

Dec 13 '18 06:12 Archiewyq

我用的接口也是网上公开的接口，不知道是不是网易做了什么限制没有。:) 我抽时间瞅瞅，我这边没有浮现到可以不以把两次重复的接口抓下呢

Dec 13 '18 06:12 stoneworld

我用的接口也是网上公开的接口，不知道是不是网易做了什么限制没有。:) 我抽时间瞅瞅，我这边没有浮现到可以不以把两次重复的接口抓下呢

比如id:300129&limit=50&offset=10000，往后offset再增加，返回的内容都是一样的，你试试？或者是我的ip被“特殊”对待了😂

Dec 13 '18 07:12 Archiewyq

你没有错是这样的 😱...应该是网易接口本身的问题了。

Dec 13 '18 08:12 stoneworld

你没有错是这样的 😱...应该是网易接口本身的问题了。

我说怎么分析数据的时候发现中间缺了一堆数据😂，这个问题好像讨论比较少，不知道大佬们有啥解决方法

Dec 13 '18 08:12 Archiewyq

我觉得可能是网易云的反爬蜜罐

Apr 27 '19 02:04 Sagx

我觉得可能是网易云的反爬蜜罐

应该不是，可能是出于数据保护吧，自己的app也只能查看到前后各1w的评论数据

Apr 29 '19 03:04 Archiewyq

worldly worldly copied to clipboard