RedisShake icon indicating copy to clipboard operation
RedisShake copied to clipboard

scan 复制,进度卡在92.29%

Open coderrrr opened this issue 2 years ago • 6 comments

scan 模式的复制,源库和目标库都是 AWS ElastiCache for Redis,版本 6.0,都是同一内网,都是 standalone 模式,数据大约有 29GB,尝试了几次都停留在 92.29%。 redis-shake.log

coderrrr avatar Aug 17 '23 03:08 coderrrr

scan.toml.txt toml 文件如下。

coderrrr avatar Aug 17 '23 03:08 coderrrr

target_redis_client_max_querybuf_len 这个参数改到非常大试试

suxb201 avatar Aug 17 '23 03:08 suxb201

您好,又尝试了 【target_redis_client_max_querybuf_len】改为 4096_000_000,还是在接近的地方出错,但错误有所不同(write: broken pipe),已和默认值 1024_000_000 做了对比,请看附件,感谢。 2023-08-18 13 45 43

coderrrr avatar Aug 18 '23 05:08 coderrrr

符合预期,有某些 key 非常大,没办法直接 restore 到目的端。有两个解决方案选择:

  1. 修改目的端 Redis 的 redis_client_mac_querybuf_len 和 redis_proto_max_bulk_len 参数,改到非常大。
  2. 改用 sync 模式或者 restore 模式。

suxb201 avatar Aug 18 '23 08:08 suxb201

image 源端:RedisCluster 4.0,目的端:RedisCluster 4.0,两边都是测试环境,key非常少,但是也报错误,帮忙看看,谢谢

sitoc avatar Aug 31 '23 12:08 sitoc

@sitoc 看看 ip 对应的 Redis 的日志

suxb201 avatar Sep 01 '23 01:09 suxb201

参考文档:https://tair-opensource.github.io/RedisShake/zh/reader/scan_reader.html

suxb201 avatar May 22 '24 06:05 suxb201