incubator-pegasus icon indicating copy to clipboard operation
incubator-pegasus copied to clipboard

replication data consistency verify tool

Open qinzuoyan opened this issue 5 years ago • 0 comments

功能:对建立了replication关系的两个表进行数据验证,保证数据的一致性

使用场景:对于建立了replication关系的两个表,可以定期(譬如一周)在低峰时段进行数据一致性验证

注意点:

  • 要考虑异步复制的延迟,譬如可以考虑获取数据的timestamp,对最近1小时写入的数据不进行比较;
  • 可以考虑分布式并发执行,每个并发只比较一个partition,提升速度;

qinzuoyan avatar Mar 12 '19 07:03 qinzuoyan