EFAK EFAK产生大量的zk连接造成服务不可用

EFAK产生大量的zk连接造成服务不可用

Open gstarget opened this issue 3 years ago • 4 comments

kafka集群3个节点，其中集群中有1000+的topic，目前在这种场景下发现EFAK产生大量的zk连接，导致到达zk连接的最大连接数限制，从而连接zk异常。

配置文件中的kafka.zk.limit.size=4, 但是此参数不生效，观察日志，有大量的zk client线程连接zk服务

请问这个可以修复吗？或者有没有解决方案，目前EFAK开启一段时间后就无法服务

@smartloli

Sep 26 '21 02:09 gstarget

kafka.zk.limit.size=25

Oct 10 '21 15:10 smartloli

topic数量多时，数据采集对zk和kafka的压力很大，建议全部改为jmx采集。

Nov 18 '21 08:11 sunshujie1990

同样遇到如上问题，设置参数 kafka.zk.limit.size=25，也不起作用，一段时间后就会产生大量zk连接

Feb 09 '22 12:02 msmoving

兄弟看这个 https://github.com/smartloli/EFAK/issues/470

Sep 06 '22 02:09 BsoBird