mujingjing
mujingjing
执行KSQL报错Unknown compression type id: 4 数据使用zstd压缩。 版本号：V2.1.0 
cdc中使用的[debezium](https://github.com/debezium/debezium)版本为1.6.4.Final，其依赖的Jackson-core版本为2.10.5,[jackson-databind](https://github.com/FasterXML/jackson-databind)版本为2.10.5.1。 flink自从1.13之后使用的Jackson版本为2.13.2。 Jackson的[com.fasterxml.jackson.databind.cfg.MapperConfig.java](https://github.com/FasterXML/jackson-databind/blob/2.14/src/main/java/com/fasterxml/jackson/databind/cfg/MapperConfig.java)中属性_mapperFeatures类型在2.13版本之前为int，在2.13版本开始变更为long。 从而导致了使用sql-cdc会出现Caused by: java.io.InvalidClassException: com.ververica.cdc.connectors.shaded.com.fasterxml.jackson.databind.cfg.MapperConfig; incompatible types for field _mapperFeatures错误。
## 简介 本代码分支实现了一个通过页面配置同步mysql数据到StarRocks中的代码版本，支持复杂的业务分库分表分数据实例等问题的数据同步。详见:[https://github.com/Desperado2/canal/tree/mysql-kafka-starrocks](https://github.com/Desperado2/canal/tree/mysql-kafka-starrocks) ## 本分支新增修改点 0. 修改构建方式，直接在构建时自动构建前端项目，并自动复制起到public下面。 1. 为了支持多实例分库分库，在mysql的binlog日志格式化之后新增了instance字段，该字段的值为instance管理中配置的canal.instance.master.address的值。 详见：[Binlog-Json](https://github.com/Desperado2/canal/blob/mysql-kafka-starrocks/wiki/news/Binlog-Json.md) 2. 为了实现分库分表数据导入一张表，设计了Table Mapping功能，用于原表与目标表直接进行字段映射。 详见：[Table-Mapping](https://github.com/Desperado2/canal/blob/mysql-kafka-starrocks/wiki/news/Table-Mapping.md) 3. 实现了kafka-to-starrocks服务，以可视化的配置，读取kafka数据写入starrocks。详见：[Consumer-Server](https://github.com/Desperado2/canal/blob/mysql-kafka-starrocks/wiki/news/Consumer-Server.md) 4. 新增一个文档管理，将常用的文档进行集中展示，便于查询。详见：[Help-Article](https://github.com/Desperado2/canal/blob/mysql-kafka-starrocks/wiki/news/Help-Article.md)   