porter icon indicating copy to clipboard operation
porter copied to clipboard

如何配置从mysql 到kudu的同步

Open crazycarry opened this issue 6 years ago • 1 comments

如何配置从mysql 到kudu的同步,看到文档中提及

crazycarry avatar Jan 17 '19 06:01 crazycarry

如何配置从Mysql到kudu的同步

以下配置文件格式适用配置管理后台"同步管理->高级任务配置(原菜单名:本地任务)->新增" 如果是本地任务配置文件需要增加前缀"porter.task[任务下标,从0开始]"

taskId=任务ID
nodeId=节点ID
consumer.consumerName=CanalFetch
consumer.converter=canalRow
consumer.source.sourceType=CANAL
consumer.includes=数据库名.表名,数据库名.表名
consumer.source.filter=过滤表名正则
consumer.source.database=数据库名字
consumer.source.password=密码
consumer.source.address=ip:3306
consumer.source.username=用户名

loader.loaderName=KUDU_NATIVE
loader.source.sourceType=KUDU
loader.source.servers=kudu地址,支持以逗号分隔的集群地址
loader.source. workerCount=工作线程数,默认10

mapper[0].schema=源端schema,目标端数据库schema(mysql就是数据库名)
mapper[0].table=源表名,目标端表名
mapper[0].column.源表字段名=目标端表字段名

mapper[0].forceMatched=false

具体参考KuduConfig.java和KUDUClient.java

zhangkewei avatar Jan 17 '19 12:01 zhangkewei