zhangkaiqiang
Results
1
issues of
zhangkaiqiang
我自己测试,在稍大数据量的时候,同步效率不高。当前抽取数据方式为select * from limit,查看执行计划是做全表扫描,一张表分多批,每个批次也都是全表扫描,在这里应该有巨大的性能提升空间的。 这边我说下我的建议哈,看大佬能否优化下 1,最好是能实现按时间线分批并行扫描抽取数据,按时间线查询比较符合influxdb的数据结构,效率较高,每个时间线查询不会全表扫描 2,在当前的基础上,优化分批取数的机制,不按照limit分批,是否可以查询最早最晚时间戳,按时间戳并行分批取数,避免全表扫描
enhancement