Mooncake icon indicating copy to clipboard operation
Mooncake copied to clipboard

[Bug]: 无法设置ssd的最大容量以及回收策略,会导致文件一直递增打爆磁盘,请问这个有啥方法能够解决吗?

Open chenhao-stick-to opened this issue 2 months ago • 6 comments

Bug Report

mooncake_master启动命令: mooncake_master --eviction_high_watermark_ratio=0.95 --enable_ha=true --etcd_endpoints="http://0.0.0.0:2379" --root_fs_dir /tmp/mooncake --enable_http_metadata_server=true 使用sglang hicache,mooncake作为存储后端,目前是单机部署。磁盘会一直增加直到最大容量,我阅读了源码和相关文档,找不到设置ssd容量以及相关回收策略的参数?请问这个有什么办法解决吗?

Before submitting...

  • [x] Ensure you searched for relevant issues and read the [documentation]

chenhao-stick-to avatar Oct 14 '25 02:10 chenhao-stick-to

目前的多级缓存功能里SSD层尚未支持存储总容量的设置和文件自动回收的功能,我们会在之后的pr中提供对文件KVCache回收等功能的支持。

SgtPepperr avatar Oct 14 '25 07:10 SgtPepperr

ok谢谢解答

chenhao-stick-to avatar Oct 14 '25 07:10 chenhao-stick-to

hello,请教下,一般什么场景会使用ssd存储?

Keithwwa avatar Oct 22 '25 11:10 Keithwwa

一般需要更大的KVCache存储空间,但是机器内存空间又不足时可以考虑开启SSD存储的功能

SgtPepperr avatar Oct 22 '25 14:10 SgtPepperr

感谢你的解答! 今天我们在线下讨论时,对SSD存储的使用有一定困惑:对于存放在SSD的kvcache,应该在什么时机取回DRAM? 如果是在命中时取回,IO+通信耗时可能要大于重计算的耗时。请问你是如何看待这个问题的?

Keithwwa avatar Oct 22 '25 14:10 Keithwwa

感谢你的解答! 今天我们在线下讨论时,对SSD存储的使用有一定困惑:对于存放在SSD的kvcache,应该在什么时机取回DRAM? 如果是在命中时取回,IO+通信耗时可能要大于重计算的耗时。请问你是如何看待这个问题的?

需要看场景,如果input很长,prefetch kvcache是有意义的

stmatengss avatar Nov 04 '25 10:11 stmatengss