kiwi
kiwi
> 是否可以把setProxy作为一个downloader的接口?我的项目中实现了自己的downloader,然后发现无法使用setProxy,这样的话就得自己重新写一遍代理实现,感觉不太方便 老铁,后来这个问题你怎么解决的
后来我研究了一下,是在seleniumDownloader下载器中添加了代理,可以使用了
我在使用SeleniumDownloader爬取页面的时候,没有加入代理会频繁出现验证码
这个问题解决了吗

有排查思路吗?老师们
内存和cpu都可能占用比较大
 