高并发下使用轮转代理的最佳实践
市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址
使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client
不然代理IP重复率较高
我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下
你这样做可以连接复用吗,每次新建一个连接 切换一个ip ,在高并发场景下 有哪个代理公司有这么多ip可以给你随便切换,很好奇,可以介绍下这个代理吗
你这样做可以连接复用吗,每次新建一个连接 切换一个ip ,在高并发场景下 有哪个代理公司有这么多ip可以给你随便切换,很好奇,可以介绍下这个代理吗
连接不能复用,这些代理公司的IP地址池有上百万甚至上千万个IP
@feeops 明白了,研究了下轮转代理 ,这种代理几乎每家都会限制并发量,并发量越高价格越昂贵,怪不得,大佬土豪啊。
@feeops 代理最好复用连接,这样在高并发情况下才能充分利用资源。你应该在只有遇到ip 封禁问题的情况下再把连接断开,这样速度会快很多
市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址
使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client
不然代理IP重复率较高
我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下
每次代理都会自动换新IP,为什么重复率还是很高呢?
市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下
每次代理都会自动换新IP,为什么重复率还是很高呢?
开新的连接才会换新IP,使用老连接就还是旧IP
市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下
每次代理都会自动换新IP,为什么重复率还是很高呢?
开新的连接才会换新IP,使用老连接就还是旧IP
设置了DisableKeepAlives,每次创建新的request,同时代理支持ip轮训,就会自动换IP,我测下来是这样
市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下
每次代理都会自动换新IP,为什么重复率还是很高呢?
开新的连接才会换新IP,使用老连接就还是旧IP
设置了DisableKeepAlives,每次创建新的request,同时代理支持ip轮训,就会自动换IP,我测下来是这样
是这样的