tianlang-wq
tianlang-wq
leveraging an extended replica mechanism to support both memory and disk modes. 这一个能具体说一下将来的一个形态嘛？跟现在的 持久化方案冲突嘛？
假设 副本数为2 我可以控制主存里存一份，硬盘存一份，这个硬盘是通过https://github.com/kvcache-ai/Mooncake/pull/793 这里实现的方式提供的？
During validation, I noticed an issue: mem_cache_hit_nums_ increments every time a cache hit occurs. mem_cache_nums_ records the current number of KV entries stored in memory. Analysis In the calculate_cache_stats() method,...
> > 在验证过程中，我发现了一个问题： > > mem_cache_hit_nums_ 每次缓存命中时递增。 > > mem_cache_nums_ 记录内存中存储的当前 KV 条目数。 > > 分析 > > 在 calculate_cache_stats() 方法中，缓存命中率的计算公式如下： > > mem_cache_hit_nums_ / mem_cache_nums_ > > 这似乎不正确。 >...
> > 在验证过程中，我发现了一个问题： > > mem_cache_hit_nums_ 每次缓存命中时递增。 > > mem_cache_nums_ 记录内存中存储的当前 KV 条目数。 > > 分析 > > 在 calculate_cache_stats() 方法中，缓存命中率的计算公式如下： > > mem_cache_hit_nums_ / mem_cache_nums_ > > 这似乎不正确。 >...
Thank you very much for your help
@Alan-D-Chen 目前两种方式都支持 sglang +hicache + mooncake 这个方案属于Type A vllm + lmcache + mooncake 这个方案我们实现出来的是Type B 可以通过 vllm + mooncake_connector 实现Type A 相关iss https://github.com/kvcache-ai/Mooncake/pull/865 我的理解是 P4D4 的场景无论是TypeA 还是TypeB 都不是 一一对应的，而是由proxy 来决定...
先用docker-compose 试试嘞，我感觉他们这个还是很简单嘞部署 opencsg-registry.cn-beijing.cr.aliyuncs.com/opencsghq/omnibus-csghub:v1.10.0-ce 这个镜像，注意tag 用ce
有问题提iss，我当时就提了好几个，他们响应还是很快的。