Ljw

Results 4 comments of Ljw

@itinycheng > 并行度问题:sink并行度和上游不同情况下,记得好像是必须有primary key的,数据分发是通过 `hash(primary key value) % parallelism` 来确定写哪个sinker的,可以关注下:`CommonExecSink.createSinkTransformation`,具体效果自己测试下看;另外你说这个感觉不太合理,写入哪个local表必须要根据分片的key来确定,不然数据不就乱了,另外你可以直接写分布式表`use-local=false`,让分布式表帮分发数据; 大佬, 您好, 请教个问题 :我把 'use-local' = 'false' 的时候程序会有报错-- Table engine Distributed doesn't support mutations. (NOT_IMPLEMENTED) (version 22.2.2.1) , 设置为 true的时候明显丢了很多数据...

> @Leijingwen 这个参数命名不太好,应该叫 sharding key,是用来计算一条数据写入的具体分片; ok

> > 1. 假如 10 个并行度去写本地表。本地表有3个,一个并行度是去写一个表,还是轮询写这三个表? > > 2. 假如服务端重启了,可以重试连副本节点继续写入? > > 您好, > > 1. Operator分发策略是flink端的逻辑,sink端能操作的是设置并行度:sink.parallelism;另外,如果设置写本地表,一个sink operator实例会持有该distributed表下所有本地表的connection。 > 2. 当前不支持,写本地表的分片选择是写死的,取的好像是shard_num=1,具体可以看下这个类:ClickHouseConnectionProvider ,如果分片挂啦,重启job没办法恢复。 您好,大佬 :当有shard_num=1的机器挂掉机器以后,flink-任务就报错了, 这个有什么好的方式解决吗? clickhouse集群的高可用感觉用不上了. 设置'use-local' = 'false'?

> > > > 1. 假如 10 个并行度去写本地表。本地表有3个,一个并行度是去写一个表,还是轮询写这三个表? > > > > 2. 假如服务端重启了,可以重试连副本节点继续写入? > > > > > > > > > 您好, > > > > > >...