canal icon indicating copy to clipboard operation
canal copied to clipboard

增加 Pulsar 异步发送的配置,增加吞吐率

Open zhangjiayin opened this issue 1 year ago • 2 comments

zhangjiayin avatar Aug 27 '24 08:08 zhangjiayin

改为async发送后,不判断数据是否发送成功?那此时重启canal-server,就会丢数据

agapple avatar Sep 11 '24 05:09 agapple

是的,我们遇到的场景 ,由于单个数据过大所以开启了pulsar 的chunking

pulsarmq.enableChunking = true

这样就必须禁用 batching 然后在配置了canal.mq 的分区之后 发送的能力还是上不来,会跟不上 数据库。

为了能追上数据库大概 1.5k左右的tps 的处理能力, 在开启了async 之后,就可以追上了。 所以这个应该可以是一个选项,为了发送能力,增加了一些丢数据的可能性,在数据要求不是100%一致的场景下应该可以使用。

zhangjiayin avatar Sep 11 '24 07:09 zhangjiayin