tis
tis copied to clipboard
[feat]需要定义数据同步可自定义表列映射
设置批量同步通道源表->目标表的列是强一致(数量,名称是保持强一致的),但是一般场景下,用户希望自定义列映射关系,例如:
- 在目标表上添加额外列
- 将源表中的列设置别名到目标表上
功能实现可以利用DataX transform机制来实现 https://github.com/alibaba/DataX/blob/master/transformer/doc/transformer.md
还没有发布吗
希望自定义列映射关系,例如:
希望自定义列映射关系,例如:
一般表字段名称,source端和sink 端保持一致的吧
希望自定义列映射关系,例如:
一般表字段名称,source端和sink 端保持一致的吧
如果目标表已经存在,有可能出现目标表字段名不一致的情况。并且还有些抽取部分字段的同步业务场景
已经实现以下transformer算子:
名称 | 功能说明 |
---|---|
Data Masking | 用于用户数据脱敏,例如,业务系统私密数据需要导入到数仓,如,用户名、密码之类数据需要进行脱敏处理。处理方法比较简单,字段内容进行遮照处理,例如:原用户名为‘王五’处理后为‘王*’ |
Concat Fields | 将原记录中的多个字段值,通过字符串连接的方式合并成一个记录值 |
JSON Splitter | 将原有记录中具有JSON Object格式的字段,拆分成多个新的字段 |
Copy Field | 将原有记录拷贝到一个新的冗余列上 |
SubStr | 将原有字段取子字符串到新列或者替换原有字段 |