maxwell-sink
maxwell-sink copied to clipboard
同步到targetdb的schema和sourcedb的schema一样?
我们公司生产环境数据库做了分库操作,db1,db2,db3 ... 每个库中的表结构一样, 现在为了方便做报表 想将所有db数据汇总到一个db,这个sink同步到targetdb的数据和sourcedb数据是一样吗?同步实现这里可以自定义吗?
来了来了,不好意思,自己没watching,没收到通知。
- 数据结构是一样的 我们做的这个东西和你这个正好相反,是将总db分库到db1,db2这样。
- 同步实现可以自定义 这个程序简单来说就是:通过maxwell读取binlog输出到kafka,然后用kafka connector消费,将json格式的消息转换为SQL语句插入到mysql中。目前问题还是很多的。
如果还有什么问题,或者需要添加的功能,可以加我QQ:504252262。 目前刚好也比较闲。
感谢回复~ 我们公司现在是要将kafka中数据同步到kudu中,准备扩展一个KuduWriter,希望能一起交流~