RedisShake icon indicating copy to clipboard operation
RedisShake copied to clipboard

feature: Add parallel writer support

Open suxb201 opened this issue 8 months ago • 1 comments

shake 运行环境:

  • ecs.c8i.4xlarge(Intel(R) Xeon(R) Platinum 8475B)
  • 云盘、网络均不构成瓶颈

测试 Redis 均为阿里云云数据库 Redis 云原生版。


源端为 Redis 7.0 集群,64 分片

  • 目的端为 Redis 7.0 单实例,ops 为 280k
  • 目的端为 Redis 7.0 集群,64 分片,ops 为 300k

从上述可以看出,理论上的 Redis 7.0 集群的写性能应该可以做到 280*64k,但受限于代码实例没有做到。

应用此 PR 后:

  • 目的端为 Redis 7.0 集群,64 分片,ops 为 600k

提升不明显,且此修改较丑不准备合入。


在高 ops 场景下代码中有多处均构成瓶颈,无法通过简单修改实现。

suxb201 avatar Dec 22 '23 09:12 suxb201

我准备先把 Parse 还有 goroutine 之间数据传输的瓶颈解决了再来处理下并行 writer

Zheaoli avatar Dec 22 '23 15:12 Zheaoli