Tan-JiaLiang

Results 4 comments of Tan-JiaLiang

@wuchong DDL同步这种功能太复杂了,需要解析完DDL之后还要下游支持DDL同步,这需要各个数据源都支持DDL同步,这不是Flink CDC Connector应该干的活儿。 其实更新目标表的Schema可以通过人工手动维护,最简单的方式就是采集到DDL可以有一个Listener的接口,可以做一下预警功能 譬如将DDL通过钉钉告警的方式打印出来,方便人工维护

@wuchong ,是的,我说的那种告警方案确实会出现这样的问题,只能看用户是否能够容忍出现这样的错误,也可以当出现DDL这样的语句让用户的任务配置决定是否要将任务停下来,然后只发告警,直到人工处理。但是这种方案就很依赖运维了,如果处理不及时还容易导致数据库的CDC日志过期 主要Flink CDC需要支持DDL同步我想到的会有以下几个难点 1. Flink CDC Connector是一个独立于Apache Flink项目的模块,Flink可能不会为了这个CDC项目把大部分Connector提供DDL的同步接口 2. 如果使用Flink SQL的CDC做同步,因为我SQL已经写好Schema了,DDL同步就没发做了,因为底层也不能修改用户的写好的Schema啊 3. 上游Source的DDL类型,要与下游Sink的类型做匹配,这个点也是最复杂的,因为不同Connector的类型可能都不一样,相同的Connector不同版本维护起来也非常复杂 对于这几个点,大佬有什么好的建议嘛

@MartijnVisser Sorry late. > Do we have tests for them? To be honest, I checked all connectors(e.g. jdbc/hbase/filesystem...) but there is no test case for forward options. Forward options is...