tis icon indicating copy to clipboard operation
tis copied to clipboard

MySQL同步到Elasticsearch的支持Nested及大宽表

Open jsrgqinbin opened this issue 1 year ago • 2 comments

MySQL中的 订单表 订单明细 产品表

订单表发生变化后,可以更新Elasticsearch中的数据同步更新Nested订单明细和产品信息表;

MySQL中的 产品表 产品属性 同步到Elasticsearch形成一张表格,在产品表中附加把属性列加进来同步;

产品表更新,更新宽表;

希望支持如上两个产场 @秦彬

jsrgqinbin avatar Mar 17 '23 02:03 jsrgqinbin

问题

  1. 产品表更新,更新宽表;===> 这种情况可能会引起更新风暴,可以接受?
  2. Nested是啥意思?
  3. 打宽表可以使用hive,或者odps不?

baisui1981 avatar Mar 17 '23 04:03 baisui1981

  1. 产品表更新,更新宽表;===> 这种情况可能会引起更新风暴,可以接受? 可不可以引入一个配置?
  2. Nested是啥意思? Elasticsearch Nested类型,如订单头表,订单明细用Elasticsearch Nested类型
  3. 打宽表可以使用hive,或者odps不? 有些宽表希望打到Elasticsearch里

jsrgqinbin avatar Mar 28 '23 02:03 jsrgqinbin