maxwell-sink icon indicating copy to clipboard operation
maxwell-sink copied to clipboard

同步到targetdb的schema和sourcedb的schema一样?

Open Alvin1128 opened this issue 8 years ago • 2 comments

我们公司生产环境数据库做了分库操作,db1,db2,db3 ... 每个库中的表结构一样, 现在为了方便做报表 想将所有db数据汇总到一个db,这个sink同步到targetdb的数据和sourcedb数据是一样吗?同步实现这里可以自定义吗?

Alvin1128 avatar Oct 27 '17 08:10 Alvin1128

来了来了,不好意思,自己没watching,没收到通知。

  1. 数据结构是一样的 我们做的这个东西和你这个正好相反,是将总db分库到db1,db2这样。
  2. 同步实现可以自定义 这个程序简单来说就是:通过maxwell读取binlog输出到kafka,然后用kafka connector消费,将json格式的消息转换为SQL语句插入到mysql中。目前问题还是很多的。

如果还有什么问题,或者需要添加的功能,可以加我QQ:504252262。 目前刚好也比较闲。

FreeSlaver avatar Dec 04 '17 09:12 FreeSlaver

感谢回复~ 我们公司现在是要将kafka中数据同步到kudu中,准备扩展一个KuduWriter,希望能一起交流~

Alvin1128 avatar Jan 25 '18 04:01 Alvin1128