RedisShake

RedisShake copied to clipboard

讨论：配置文件优化

1

当前版本配置文件： ```toml function = "" [sync_reader] # ... [redis_writer] # ... [advanced] # ... [module] # ... ``` 计划改动为： ```toml [sync_reader] # ... [redis_writer] # ... [filter] allow_key_prefix = "myapp"...

suxb201

目前 CI 启动后会同时触发多个 job，对应多个 Redis 版本测试。job 之间的端口是共享的，当其中一个 job 启动使用某个 port 启动实例后，另一个 port 如果想用相同的端口就会导致测试失败。我已经给端口获取的地方加上了随机性，但是还是有很大的失败概率，不符合预期，需要再分析下。

suxb201

源库有 XADD stream数据同步到目标库报错

4

### 问题描述（Issue Description） 请在这里简要描述你遇到的问题。 源库有 XADD stream数据同步到目标库报错 复现步骤： 1. 源库插入命令： XADD mystream * field1 value1 field2 value2 2. 启动redis-shake进行迁移 ** 注 ** 只有全量阶段（rdb）会报错，增量阶段（aof）不会报stream 同步失败、 [ERR [writer_192.168.16.247_6379] receive reply failed. cmd=[restore...

wangshuang0220

feature: Add parallel writer support

1

shake 运行环境： * ecs.c8i.4xlarge(Intel(R) Xeon(R) Platinum 8475B) * 云盘、网络均不构成瓶颈 测试 Redis 均为阿里云云数据库 Redis 云原生版。 --- 源端为 Redis 7.0 集群，64 分片 * 目的端为 Redis 7.0 单实例，ops 为 280k * 目的端为 Redis...

suxb201

As memtioned at https://github.com/tair-opensource/RedisShake/issues/735#issuecomment-1867447683 Currently the `pipeline_count_limit` field is the number of commands `in flight`, not the [redis pipeling](https://redis.io/docs/manual/pipelining/)

jjz921024

feat: Support increment sync

3

for issue #722 通过sync_reader同步时，支持增量同步，避免每次都进行不必要的全量同步 以允许在shake短暂中断或重启后，可以从上次同步的offset处继续进行 1. 在连接源redis实例时，通过`info replication`命令获取`master_replid`字段 2. 修改保存aof的文件名，以接收到的起始offset作为文件名。在重启时可通过 `文件名 + 文件大小` 的方式得到上次同步的offset 3. 若能拿到上次同步的offset 且 `sync_rdb=false`，尝试进行增量同步，替换 `PSYNC ? -1`

jjz921024

源端为超多分片集群时的同步性能问题

5

### 问题描述（Issue Description） 源端74主74从，目的端3主3从 ncpu设置了64，单个rdb文件4GB，实际测试发现syncing rdb性能非常差，预计要200个小时，请问下性能瓶颈在哪里，还是需要调整什么参数 - RedisShake 版本（RedisShake Version）：4.0.2 - Redis 源端版本（Redis Source Version）：5.0.7 - Redis 目的端版本（Redis Destination Version）：5.0.7 - Redis 部署方式（standalone/cluster/sentinel）：cluster - 是否在云服务商实例上部署（Deployed on Cloud Provider）：否 ### 日志信息（Logs）...

AtomTu

在 #747 后，可以对 RDB Parse 做个基准 Benchmark 原本直觉上 ParseRDB 的频繁小内存分配会成为内存瓶颈，但是实际上池化的代价更大一些 ```text # before cpu: Intel(R) Xeon(R) Platinum 8370C CPU @ 2.80GHz BenchmarkParseRDB-16 20 150637274 ns/op 213802609 B/op 1900710 allocs/op BenchmarkParseRDB-16...

Zheaoli

增加增量同步的功能

1

通过sync_reader同步时，支持增量同步，避免每次都进行不必要的全量同步 以允许在shake短暂中断或重启后，可以从上次同步的offset处继续进行 1. 在连接源redis实例时，通过`info replication`命令获取`master_replid`字段 2. 修改保存aof的文件名，以接收到的起始offset作为文件名。在重启时可通过 `文件名+文件大小` 的方式得到上次同步的offset 3. 若能拿到上次同步的offset 且 `sync_rdb=false`，尝试进行增量同步，替换 `PSYNC ? -1`

jjz921024

How to reduce time to migrate data from rdb file to redis cluster ?

11

### 问题描述（Issue Description） Looking for ways optimize the calls and reduce time it takes to migrate data from rdb file to redis cluster. Right now, it is taking about an...

dhruvil-alphonso