pika icon indicating copy to clipboard operation
pika copied to clipboard

压测codsi+pika架构,性能上不去

Open chenjing7232 opened this issue 4 years ago • 1 comments

codis版本:pika官方特别版 pika版本:3.3.5 服务器:16核32G * 3 2组pika实例分片:组1pika(0-513slots),组2pika(514-1023slots)

压测命令和结果: [admin@test-prfm16-tidb01 config]$ /opt/src/vire/tests/vire-benchmark -h xxx -p 19000 -a test123 -n 20000 -r 2000000000 -c 300 -S string --csv -q -e -T 16 -t set "SET","4114.38"

pika配置(其他默认): thread-num : 6 thread-pool-size : 16

codis-proxy配置(其他默认): backend_primary_parallel = 16 backend_replica_parallel = 16

chenjing7232 avatar Mar 02 '21 12:03 chenjing7232

排查下pika本身的性能,查看下rocksdb的日志,是否有停写。大概率是单个pika的slot过多,导致创建的rocksdb 使用的内存超过max-write-buffer-size 的值。可以按照每个slot存放300G数据,估算slot总数目。slot数目过多会导致rocksdb 预分配过多内存到memtable。可以考虑设置每个table的slot的数目为8或者16后进行测试验证。

kernelai avatar Mar 03 '21 02:03 kernelai

我也遇到了同样的问题,codis+pika性能非常差。

ahern88 avatar Oct 24 '22 01:10 ahern88