dongdongking008
Results
2
comments of
dongdongking008
Flink CDC Connector确实不应该把这事全都干了,但是把DDL变更以某种形式暴露出来确实是很有意义的。 另外,其他一些信息也可以考虑进去,比如Heartbeat:现在如果把CDC的维表用作Versioned Table直接用来join,会因为维表数据变更慢,导致维表这边的Watermark涨不上去,其实用Heartbeat消息来推动Watermark上涨,才是最合理的办法。 可以用统一的数据结构来输出这些信息。
> watermark 可以 pushdown 到 cdc source 里面,这样 heartbeat 数据不用让 flink 框架感知。 其实在我看来,changelog中有必要包含heartbeat信息,因为这样才能知道真正的watermark位置,下游系统其实需要这个信息,比如把changelog输出到Kafka、Iceberg之后,他们可以去记录真实的watermark