canal
canal copied to clipboard
增加 Pulsar 异步发送的配置,增加吞吐率
改为async发送后,不判断数据是否发送成功?那此时重启canal-server,就会丢数据
是的,我们遇到的场景 ,由于单个数据过大所以开启了pulsar 的chunking
pulsarmq.enableChunking = true
这样就必须禁用 batching 然后在配置了canal.mq 的分区之后 发送的能力还是上不来,会跟不上 数据库。
为了能追上数据库大概 1.5k左右的tps 的处理能力, 在开启了async 之后,就可以追上了。 所以这个应该可以是一个选项,为了发送能力,增加了一些丢数据的可能性,在数据要求不是100%一致的场景下应该可以使用。