FlechazoW
FlechazoW
感谢提交的pr,有几点需要调整下: 1. 代码格式化了嘛?纯钧使用的是spotless 插件对代码格式化,如果不符合格式要求,项目则无法编译成功,所以在提交之前,需要执行下spotless:apply命令; 2. pr commit message 不合纯钧规范,我们对pr的规范(规范在文档里有说明)是: * 在pr里备注修复的issue; * pr commit 模版[hotfix-#issueID][#fix-module] #fix-commit. * 修改内容尽量保持与issue内容一致,如果出现无关修改,在pr中备注出来; 可以观察下git log 里其他同学是如果提交commit 信息的。
另外,pr message及代码注释采用英文。
这个有什么好的思路或者方案嘛?
需要有完整的报错信息,这部分信息看不出具体问题的。
1. 可以通过配置namemapping映射关系来匹配字段; 2. csv、tsv等格式可以将flink-csv-format等相关jar包放在flink lib 目录下;
Hi, sorry for reply so long. I think is nice to do this, can you provide a pr for this?
你好,感谢提供的pr。首先第一个commit,我们已经支持了es6,我们注释掉的原因是因为在session模式下,会出现类冲突问题,所以选择注释掉;第二个能否提供一个issue 描述下呢?同时commit 信息修改下,pr 模版是[hotfix-#issueID][fix-module] fix-commit.
> 感谢pr,对于这两个问题,能否建立一下issue描述下并关联下呢?为了合理的规划commit信息,我们的规范是一个issue 对应一个pr。没有issue 是需要提交人创建一个issue 来描述修复内容的,否则review 者不清楚上下文,不能很好的理解这个pr。感谢理解
> @FlechazoW chunjun基于flink来执行作业, 比如mysql binlog source ==>> sink clickhouse中。 flink这边是通过什么方式来获取binlog数据的? 我尝试根据flink的rowkind类型扩展了基础的delete的实现,但是不清楚方向是否是正确的。我尝试扩展下update与delete操作的数据同步,接下来该如何操作? 纯钧binlog插件是通过canal采集cdc数据的,但是对于下游来说,不需要关心上游获取数据的实现。例如,clickhouse 要实现delete / update 语法,只需要实现对应的方言ClickhouseDialect 即可。
目前在其他数据源的实现是方案二,你可以看下PreparedStmtProxy这个类,通过split参数,将update拆分成update_before 和update_after,对于update_before则采用delete,update_after则采用insert,与你的第二种方案类似。