bitsail icon indicating copy to clipboard operation
bitsail copied to clipboard

binlog2hudi链路需求

Open sjq1992 opened this issue 1 year ago • 4 comments

bitsail目前是否支持binlog connector?看了下代码里除了MysqlBinlogEventTimeExtractor没有其他相关的代码,是暂时还没有开源?

我们这边目前binlog->kafka->hudi的架构在kafka扩分区场景下存在消息乱序问题,bitsail是否能提供解决该问题的方案?

另外问下,bitsail有交流群么

sjq1992 avatar Oct 29 '22 13:10 sjq1992

计划会接入flinkcdc,具体问题可以扫描readme里的二维码进入微信群讨论

garyli1019 avatar Oct 31 '22 04:10 garyli1019

不建议采用flinkcdc 方案,被绑定到flinkcdc 版本依赖,flInkcdc 现在活跃度不是很高,高级功能只有云产品有,依赖debezium版本低,有bug 迟迟不能升级。可以考虑基于debezium-server 来设计实现,这样兼顾到多引擎。 参考这个项目:https://github.com/memiiso/debezium-server-spark

https://github.com/memiiso/debezium-server-spark/blob/master/docs/images/debezium-batch.png

melin avatar Nov 04 '22 05:11 melin

@melin 感谢建议,这块我们最近会调研一下

garyli1019 avatar Nov 07 '22 08:11 garyli1019

@sjq1992 交流群的二维码在readme文档中,可以扫描加入

yucongcong654 avatar Dec 30 '22 10:12 yucongcong654