tomyu168

> > 不过用了这个办法之后速度大概是一小时不到10页，还有待多次测试看看更多问题，好像还是会卡可能是代理ip数不够用 > > 大佬，可以告诉我怎么弄的吗，或者直接发我代码如何？ 啊呀，不好意思之前手机看到忘记回了，https://github.com/jhao104/proxy_pool 你去把这个搞一下，获取动态ip池的一个应用，搞好了就可以得到一组动态ip，然后找个scrapy proxy的工具把这个ip集合填进去，有的是配置文件也有的填数组。

> > 不过用了这个办法之后速度大概是一小时不到10页，还有待多次测试看看更多问题，好像还是会卡可能是代理ip数不够用 > > 大佬，可以告诉我怎么弄的吗，或者直接发我代码如何？ 我试验过好多个github上的动态ip池应用，好像就这个是有效的，不过作用有限，毕竟免费的，如果你要稳定的那得去买相关的服务了，你可以免费的先试试看，那先代理scrapy的应用基本都没毛病，把ip集合填充进去就好了，我测试下来是一小时大概抓取15页左右。