incubator-pegasus
incubator-pegasus copied to clipboard
replication data consistency verify tool
功能:对建立了replication关系的两个表进行数据验证,保证数据的一致性
使用场景:对于建立了replication关系的两个表,可以定期(譬如一周)在低峰时段进行数据一致性验证
注意点:
- 要考虑异步复制的延迟,譬如可以考虑获取数据的timestamp,对最近1小时写入的数据不进行比较;
- 可以考虑分布式并发执行,每个并发只比较一个partition,提升速度;