不知道爬虫能不能解决100页以上404的问题？

[erikaemma]

[Eaken]

爬得太快太多了，你的ip被人家锁了

[erikaemma]

@Eaken 不是爬虫，我浏览器随意打开一个100页200 OK的，点击下一页，400了

[raawaa]

我这里用浏览器打开100以后的页面都没问题啊。

[raawaa]

顺便一提：这个项目所爬的javbus站，有磁链的影片只到56页（2018-08-08）。“所有影片”能到100以后。