req icon indicating copy to clipboard operation
req copied to clipboard

高并发下使用轮转代理的最佳实践

Open feeops opened this issue 5 months ago • 8 comments

市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址

使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client

不然代理IP重复率较高

我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下

feeops avatar Jul 14 '25 02:07 feeops

你这样做可以连接复用吗,每次新建一个连接 切换一个ip ,在高并发场景下 有哪个代理公司有这么多ip可以给你随便切换,很好奇,可以介绍下这个代理吗

NovaTrace88 avatar Jul 14 '25 03:07 NovaTrace88

你这样做可以连接复用吗,每次新建一个连接 切换一个ip ,在高并发场景下 有哪个代理公司有这么多ip可以给你随便切换,很好奇,可以介绍下这个代理吗

连接不能复用,这些代理公司的IP地址池有上百万甚至上千万个IP

feeops avatar Jul 14 '25 06:07 feeops

@feeops 明白了,研究了下轮转代理 ,这种代理几乎每家都会限制并发量,并发量越高价格越昂贵,怪不得,大佬土豪啊。

NovaTrace88 avatar Jul 14 '25 06:07 NovaTrace88

@feeops 代理最好复用连接,这样在高并发情况下才能充分利用资源。你应该在只有遇到ip 封禁问题的情况下再把连接断开,这样速度会快很多

NovaTrace88 avatar Jul 14 '25 07:07 NovaTrace88

市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址

使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client

不然代理IP重复率较高

我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下

每次代理都会自动换新IP,为什么重复率还是很高呢?

liiidong avatar Jul 16 '25 06:07 liiidong

市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下

每次代理都会自动换新IP,为什么重复率还是很高呢?

开新的连接才会换新IP,使用老连接就还是旧IP

feeops avatar Jul 16 '25 08:07 feeops

市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下

每次代理都会自动换新IP,为什么重复率还是很高呢?

开新的连接才会换新IP,使用老连接就还是旧IP

设置了DisableKeepAlives,每次创建新的request,同时代理支持ip轮训,就会自动换IP,我测下来是这样

liiidong avatar Jul 17 '25 11:07 liiidong

市面上很多代理公司都在卖一种轮转代理,即代理proxyURL是固定的,每次连接都会换新的IP地址 使用req库连接代理时,必须开启DisableKeepAlives(),高并发建议每个协程都创建一个新的req client 不然代理IP重复率较高 我目前就是这样做的,如果大家有类似经验,有更好的实践可以分享一下

每次代理都会自动换新IP,为什么重复率还是很高呢?

开新的连接才会换新IP,使用老连接就还是旧IP

设置了DisableKeepAlives,每次创建新的request,同时代理支持ip轮训,就会自动换IP,我测下来是这样

是这样的

feeops avatar Jul 18 '25 03:07 feeops