DataX datax可以同步到hudi吗？

datax可以同步到hudi吗？

Open zhangzhaohuazai opened this issue 2 years ago • 5 comments

我们数据入湖需要使用hudi屏蔽下层存储（hdfs、s3)，datax可以同步mysql数据到hudi表吗？

Nov 28 '22 07:11 zhangzhaohuazai

当然可以 https://tis.pub/docs/example/mysql-hudi

hudi-arttecth-f254224af2a8b86f4414d1549c0d72bb

数据按照上图红色线条的路径走

Nov 28 '22 08:11 baisui1981

意思是都要先经过flink或者spark两种写入才可以是吧，但是这个也确实hudi的状态数据是要放flink和spark，单纯datax应该做不到

Dec 04 '22 06:12 ShawshankLin

可以看看这个： https://github.com/dongpengfei2/DataX/tree/evyd-1.0.0/hudiwriter

Mar 02 '23 00:03 daxwang

请问该问题有什么最新的解决方案？谢谢！

Jun 19 '23 02:06 userkdg

我们数据入湖需要使用hudi屏蔽下层存储（hdfs、s3)，datax可以同步mysql数据到hudi表吗？

你好，我们也是有这样的需求，请问你现在是怎么解决的？期待你的回复

Jun 19 '23 02:06 userkdg