RedisShake icon indicating copy to clipboard operation
RedisShake copied to clipboard

sync相比rump,全量同步很慢的样子,如何提高sync全量同步速度

Open jkx1206 opened this issue 1 year ago • 8 comments

问题描述

我想用redis shake替换rmt,但是使用sync同步很慢,rmt2000w个key需要1min左右就同步完成,redis shake需要1h。不过用rump就会很快,可是rump不支持增量同步,请问sync要怎么配置提高全量同步速度呢


源端 Redis 版本:4.0.8, cluster


目的端 Redis 版本:4.0.8, cluster

redis shake 版本:2.x

jkx1206 avatar Sep 28 '22 05:09 jkx1206

  1. 请问 rmt 是什么工具?
  2. 试一下 3.x 版本的 shake 性能有较高提升

suxb201 avatar Sep 28 '22 06:09 suxb201

  1. 请问 rmt 是什么工具?
  2. 试一下 3.x 版本的 shake 性能有较高提升

rmt是Redis-migrate-tool, 唯品会开源的单向同步工具,2.x版本不能提高速度吗,因为是准备线上用,担心3.x版本不够稳定

jkx1206 avatar Sep 28 '22 06:09 jkx1206

@jkx1206 2.x 不做迭代了

suxb201 avatar Sep 28 '22 06:09 suxb201

@jkx1206 2.x 不做迭代了

那请问一下,3.x版本目前稳定性如何呢,线上做数据同步之类的工作

jkx1206 avatar Sep 28 '22 06:09 jkx1206

@jkx1206 1. 性能能达到要求 2. 稳定性主要是版本兼容问题和用法问题,你们使用方式固定的话还好,有问题可以找我

suxb201 avatar Sep 28 '22 06:09 suxb201

@jkx1206 1. 性能能达到要求 2. 稳定性主要是版本兼容问题和用法问题,你们使用方式固定的话还好,有问题可以找我

好的,谢谢

jkx1206 avatar Sep 28 '22 06:09 jkx1206

@jkx1206 1. 性能能达到要求 2. 稳定性主要是版本兼容问题和用法问题,你们使用方式固定的话还好,有问题可以找我

cluster_helper.py批量处理cluster,好像不支持lua脚本 @suxb201

jkx1206 avatar Sep 28 '22 11:09 jkx1206

@jkx1206 已经支持了 https://github.com/alibaba/RedisShake/releases/tag/v3.1.5

suxb201 avatar Sep 29 '22 06:09 suxb201