MongoShake
MongoShake copied to clipboard
alibaba
【建议】2.7.4 版本优化lsn_ckpt空闲刷新逻辑
建议 2.7.4版本的lsn_ckpt空闲刷新逻辑与2.6.x版本保持一致。2.7.x版本的lsn_ckpt 只有在有数据同步时才会刷新，不利于延迟监控，建议改为空闲时期也会定时刷新lsn_ckpt
mongoshake版本：2.7.4
2.6.4日志： [2022/06/15 23:59:50 CST] [INFO] [name=cus-es-01_sh_1, stage=incr, get=91178173, filter=290321, write_success=90887852, tps=0, ckpt_times=108747, lsn_ckpt={7109496318967414785[1655308604, 1], 2022-06-15 23:56:44}, lsn_ack={7109436777835790347[1655294741, 11], 2022-06-15 20:05:41}]] [2022/06/15 23:59:55 CST] [INFO] [name=cus-es-01_sh_1, stage=incr, get=91178174, filter=290321, write_success=90887852, tps=0, ckpt_times=108747, lsn_ckpt={7109496318967414785[1655308604, 1], 2022-06-15 23:56:44}, lsn_ack={7109436777835790347[1655294741, 11], 2022-06-15 20:05:41}]]
2.7.4日志： [2022/06/15 23:59:50 CST] [INFO] [name=cus-mg-10_sh_1, stage=incr, get=17186, filter=769, write_success=16417, tps=0, ckpt_times=732, lsn_ckpt={7109459601292001281[1655300055, 1], 2022-06-15 21:34:15}, lsn_ack={7109458634924359681[1655299830, 1], 2022-06-15 21:30:30}]] [2022/06/15 23:59:55 CST] [INFO] [name=cus-mg-10_sh_1, stage=incr, get=17186, filter=769, write_success=16417, tps=0, ckpt_times=732, lsn_ckpt={7109459601292001281[1655300055, 1], 2022-06-15 21:34:15}, lsn_ack={7109458634924359681[1655299830, 1], 2022-06-15 21:30:30}]]
通过日志可以看出，同样是空闲时间， 2.6.4的lsn_ckpt总是不断向now()靠近， 但2.7.4的lsn_ckpt与lsn_ack 保持一致，lsn_ack是最后一次更新的时间，所以推断2.7.4的lsn_ckpt在空闲时刻，是不会进行定时刷新的
你这两个版本的incr_sync.mongo_fetch_method 配置一样吗？ 2.6.4配置是oplog，2.7.4配置是changeStream，是这样吗？
有关系的，两个版本ckpt更新的逻辑是一样的。有oplog才会更新，无论是业务的oplog还是noop oplog。 不一样的地方是，oplog方式可以获取noop oplog，ChangeStream方式获取不到noop oplog（被MongoDB自身过滤掉了）。 所以oplog会更新，ChangeStream不会更新。 这个现在维持现状，等确定好的优化逻辑。