bitsail
bitsail copied to clipboard
binlog2hudi链路需求
bitsail目前是否支持binlog connector?看了下代码里除了MysqlBinlogEventTimeExtractor没有其他相关的代码,是暂时还没有开源?
我们这边目前binlog->kafka->hudi的架构在kafka扩分区场景下存在消息乱序问题,bitsail是否能提供解决该问题的方案?
另外问下,bitsail有交流群么
计划会接入flinkcdc,具体问题可以扫描readme里的二维码进入微信群讨论
不建议采用flinkcdc 方案,被绑定到flinkcdc 版本依赖,flInkcdc 现在活跃度不是很高,高级功能只有云产品有,依赖debezium版本低,有bug 迟迟不能升级。可以考虑基于debezium-server 来设计实现,这样兼顾到多引擎。 参考这个项目:https://github.com/memiiso/debezium-server-spark
https://github.com/memiiso/debezium-server-spark/blob/master/docs/images/debezium-batch.png
@melin 感谢建议,这块我们最近会调研一下
@sjq1992 交流群的二维码在readme文档中,可以扫描加入