[Bug]: 无法设置ssd的最大容量以及回收策略,会导致文件一直递增打爆磁盘,请问这个有啥方法能够解决吗?
Bug Report
mooncake_master启动命令: mooncake_master --eviction_high_watermark_ratio=0.95 --enable_ha=true --etcd_endpoints="http://0.0.0.0:2379" --root_fs_dir /tmp/mooncake --enable_http_metadata_server=true 使用sglang hicache,mooncake作为存储后端,目前是单机部署。磁盘会一直增加直到最大容量,我阅读了源码和相关文档,找不到设置ssd容量以及相关回收策略的参数?请问这个有什么办法解决吗?
Before submitting...
- [x] Ensure you searched for relevant issues and read the [documentation]
目前的多级缓存功能里SSD层尚未支持存储总容量的设置和文件自动回收的功能,我们会在之后的pr中提供对文件KVCache回收等功能的支持。
ok谢谢解答
hello,请教下,一般什么场景会使用ssd存储?
一般需要更大的KVCache存储空间,但是机器内存空间又不足时可以考虑开启SSD存储的功能
感谢你的解答! 今天我们在线下讨论时,对SSD存储的使用有一定困惑:对于存放在SSD的kvcache,应该在什么时机取回DRAM? 如果是在命中时取回,IO+通信耗时可能要大于重计算的耗时。请问你是如何看待这个问题的?
感谢你的解答! 今天我们在线下讨论时,对SSD存储的使用有一定困惑:对于存放在SSD的kvcache,应该在什么时机取回DRAM? 如果是在命中时取回,IO+通信耗时可能要大于重计算的耗时。请问你是如何看待这个问题的?
需要看场景,如果input很长,prefetch kvcache是有意义的