如何配置从Mysql到KAFKA的同步

[zhangkewei]

如何配置从Mysql到kafka的同步

以下配置文件格式适用配置管理后台"同步管理->高级任务配置(原菜单名:本地任务)->新增" 如果是本地任务配置文件需要增加前缀"porter.task[任务下标，从0开始]"

taskId=任务ID
nodeId=节点ID
consumer.consumerName=CanalFetch
consumer.converter=canalRow
consumer.source.sourceType=CANAL
consumer.includes=数据库名.表名,数据库名.表名
consumer.source.filter=过滤表名正则
consumer.source.database=数据库名字
consumer.source.password=密码
consumer.source.address=ip:3306
consumer.source.username=用户名

loader.loaderName=KAFKA_SYNC
loader.source.sourceType=KAFKA_PRODUCE
loader.source.servers=kafka地址 
loader.source.topic=主题
loader.source.oggJson=true(输出格式为ogg json格式)
loader.source.partitionKey.数据库名(oracle schema名).表名=分片字段