flinkStreamSQL icon indicating copy to clipboard operation
flinkStreamSQL copied to clipboard

希望flinkStreamSQL 1.10的Kafka数据源可以像flink原生版一样支持group-offsets模式

Open bcwoauthtest opened this issue 5 years ago • 6 comments

flinkStreamSQL 1.10的Kafka数据源不支持group-offsets模式,Flink原生版支持的。 在实际应用中,最常用的就是这个模式,Flink原生版本只要设置了groupId, 即使是latest和earlist两种offset模式, 也只是在groupId有新值时,从最新或者最初始开始读,其后就是按照group-offsets来读取的,这样就可以保证任务重启后,准确地衔接上。 希望大佬们可以让flinkStreamSQL 也支持group-offset模式。

bcwoauthtest avatar Sep 14 '20 14:09 bcwoauthtest

Good Requirement! I desired it too.

PrettyJerry avatar Sep 14 '20 14:09 PrettyJerry

现在支持了嘛

blackMoutin avatar Dec 17 '20 05:12 blackMoutin

@blackMoutin 你是提问吗? 是“现在支持了吗” 写错了吧。 官方说解决了,会回复的。

bcwoauthtest avatar Dec 22 '20 03:12 bcwoauthtest

有计划在做了么?

xunchangguo avatar Feb 24 '21 07:02 xunchangguo

类似下面这样改?还是还有更好的方式?

               if (StringUtils.isNotEmpty(kafka010SourceTableInfo.getKafkaParam("group.id"))){
			kafkaSrc.setStartFromGroupOffsets();
		} else if("earliest".equalsIgnoreCase(offsetReset)){
			kafkaSrc.setStartFromEarliest();
		} 
.......................

xunchangguo avatar Feb 24 '21 08:02 xunchangguo

FlinkX 1.12试一下?

a49a avatar Aug 19 '21 01:08 a49a