SylvanasSun
Results
2
issues of
SylvanasSun
因为某些不可抗力，用国外IP会被直接BAN，所以如何才能让代理池只爬取国内的IP？或者说管理待爬的代理网站列表的模块在哪呢（以便可以手动删除国外的代理网站）？
由于使用selenium来访问页面，所以不便于动态切换代理ip，故使用squid作为代理池客户端，但是发现squid很少会使用到分数最高的那些代理ip，而是会选取分数在中游的IP(大部分都在5~7分这个范围，但我看了validated队列里明明有10分甚至20分的ip却未被取到过)，这就导致了在代理池正在校验期间（validated队列中暂存了很多待校验ip，但目标网站会屏蔽所有国外ip，在校验任务未完全完成时就会取到国外ip并被拒绝访问）进行请求的质量会很差，所以有没有办法将选择ip的算法切换到贪婪模式呢？