canal
canal copied to clipboard
一个通过页面配置从mysql同步数据到StarRocks的代码分支。
简介
本代码分支实现了一个通过页面配置同步mysql数据到StarRocks中的代码版本,支持复杂的业务分库分表分数据实例等问题的数据同步。详见:https://github.com/Desperado2/canal/tree/mysql-kafka-starrocks
本分支新增修改点
-
修改构建方式,直接在构建时自动构建前端项目,并自动复制起到public下面。
-
为了支持多实例分库分库,在mysql的binlog日志格式化之后新增了instance字段,该字段的值为instance管理中配置的canal.instance.master.address的值。 详见:Binlog-Json
-
为了实现分库分表数据导入一张表,设计了Table Mapping功能,用于原表与目标表直接进行字段映射。 详见:Table-Mapping
-
实现了kafka-to-starrocks服务,以可视化的配置,读取kafka数据写入starrocks。详见:Consumer-Server
-
新增一个文档管理,将常用的文档进行集中展示,便于查询。详见:Help-Article