kiwi

Results 19 comments of kiwi

> 是否可以把setProxy作为一个downloader的接口?我的项目中实现了自己的downloader,然后发现无法使用setProxy,这样的话就得自己重新写一遍代理实现,感觉不太方便 老铁,后来这个问题你怎么解决的

后来我研究了一下,是在seleniumDownloader下载器中添加了代理,可以使用了

我在使用SeleniumDownloader爬取页面的时候,没有加入代理会频繁出现验证码

这个问题解决了吗

![image](https://user-images.githubusercontent.com/30741355/183021729-ddb2f377-3d28-4a3a-b79a-c5775951093d.png)

有排查思路吗?老师们

内存和cpu都可能占用比较大

![image](https://user-images.githubusercontent.com/30741355/183350330-975ca881-b57a-4b88-9740-881d4d9899e2.png) ![image](https://user-images.githubusercontent.com/30741355/183350374-867ca167-8c93-42fb-8ea4-b046fe19fe74.png)