flinkStreamSQL
flinkStreamSQL copied to clipboard
希望flinkStreamSQL 1.10的Kafka数据源可以像flink原生版一样支持group-offsets模式
flinkStreamSQL 1.10的Kafka数据源不支持group-offsets模式,Flink原生版支持的。 在实际应用中,最常用的就是这个模式,Flink原生版本只要设置了groupId, 即使是latest和earlist两种offset模式, 也只是在groupId有新值时,从最新或者最初始开始读,其后就是按照group-offsets来读取的,这样就可以保证任务重启后,准确地衔接上。 希望大佬们可以让flinkStreamSQL 也支持group-offset模式。
Good Requirement! I desired it too.
现在支持了嘛
@blackMoutin 你是提问吗? 是“现在支持了吗” 写错了吧。 官方说解决了,会回复的。
有计划在做了么?
类似下面这样改?还是还有更好的方式?
if (StringUtils.isNotEmpty(kafka010SourceTableInfo.getKafkaParam("group.id"))){
kafkaSrc.setStartFromGroupOffsets();
} else if("earliest".equalsIgnoreCase(offsetReset)){
kafkaSrc.setStartFromEarliest();
}
.......................
FlinkX 1.12试一下?