想请教怎么往kv cache中添加缓存信息

[WCwalker]

Motivation

想请教怎么往kv cache中添加缓存信息，我这边在做batch推理时候，因为batch比较多，想缓存提示词模版，以减少推理时间

Related resources

No response

Additional context

No response

[WCwalker]

想请教的是这一段描述我应该去哪里找对应的代码，然后把我这边提示词的内容填充进去

[lvhan028]

为避免误解，能不能提供个具体例子？便于我们针对性的讨论 我感觉 lmdeploy 的交互式推理方式能帮到忙。它会cache多轮对话中的历史记录