百岁

> 除了删除这个，还有就是flink_tis实时同步会有报错信息，就是上面的报错日志，这个问题我不确定是什么导致，因为是运行了一段时间之后就会出现的问题，tis的监控平台 实时同步也会出现"服务端获取不到该Job状态信息，可能是因为Flink-Cluster重启导致，请手动 ",但是查询flink_tis还是运行状态，但是已经无法实时同步了 上面的这个错误日志，不是直接导致错误的异常信息，你看到 以下这种错误信息要把，日志往上拉一下，真正的错误的信息在上面的位置 ``` Caused by: com.dtstack.chunjun.throwable.NoRestartException: The dirty consumer shutdown, due to the consumed count exceed the max-consumed [0] ```

思路： 这个我看cc上是有这个功能的，他们应该是先去查看mysql的binlog日志把mysql的操作在clickhouse复现一遍，然后通过程序判断是否执行成功了，执行成功了判断clickhouse有数据了再执行去重语句。这个optimize可以手动开启，默认是0就不执行。改成1或者其他就开启这个功能

clickhouse 删除语法 ```sql alter table test.order delete where id=6; ```

chunjun 目前针对clickhouse 没有支持 https://github.com/DTStack/chunjun/blob/21b75630b3a4fbd45a165490d99e079441d799e0/chunjun-connectors/chunjun-connector-clickhouse/src/main/java/com/dtstack/chunjun/connector/clickhouse/dialect/ClickhouseDialect.java#L67

https://github.com/DTStack/chunjun/issues/1606

Aliyun EMR hudi has upgrade to 0.12.

> 希望自定义列映射关系，例如： > >  一般表字段名称，source端和sink 端保持一致的吧

已经实现以下transformer算子： |名称| 功能说明| |-|-| |Data Masking| 用于用户数据脱敏，例如，业务系统私密数据需要导入到数仓，如，用户名、密码之类数据需要进行脱敏处理。处理方法比较简单，字段内容进行遮照处理，例如：原用户名为‘王五’处理后为‘王*’| |Concat Fields| 将原记录中的多个字段值，通过字符串连接的方式合并成一个记录值| |JSON Splitter| 将原有记录中具有JSON Object格式的字段，拆分成多个新的字段| |Copy Field| 将原有记录拷贝到一个新的冗余列上| |SubStr| 将原有字段取子字符串到新列或者替换原有字段 |

> 目前tis自身升级都是全量重新部署，这导致很多正在运行的任务无法被重复使用，需要重新迁移数据并构建实时同步。 需求是，tis本身能平滑升级。 可以参考： https://github.com/datavane/tis/issues/90

ok, 有意向来贡献该插件实现不？