Xudong Sun
Results
3
comments of
Xudong Sun
This is a smart idea, I got it : )
我在对这个爬虫改多页面的过程中发现这个js文件连续第二次获取会重定向到空页面，不知道和你遇到的是否是一个问题。另外我fork了这个爬虫，改了不少东西，并加了很多注释，有兴趣可以去看看，希望对你问题有帮助。
我猜可能也是因为频繁获取js的行为被反爬机制抓到了，我在把你的代码改成多页面的时候几乎每次运行都能遇到。后续页面的js用的其实都是一个，所以我的代码里只获取一次就能爬所有页面了。有的页面故意在正确js地址前加一个注释，re就匹配到注释上了，我那个pull request就改了那一个地方，初次使用github不知道用的对不对😁