higress
higress copied to clipboard
【开源之夏】实现基于向量相似度实现LLM结果召回的WASM插件
项目产出要求
- 可以和LLM Proxy以及AI Assistant插件联动,将LLM提供商返回的结果缓存在Redis中
- 支持基于请求向量相似度,从Redis中召回LLM响应,替代向LLM提供商发起请求
- 设计评估插件召回效果的测试用例,评估插件的准确率和召回率,并能根据测试结果进一步优化插件逻辑
项目描述
在AI时代,对网关的需求已经远远超越了传统的路由和负载均衡功能,形成了AI网关的形态。AI网关可以为AI应用开发者提供便利,统一不同LLM提供商的API协议,并提供API编排、安全、稳定性和成本控制等扩展功能。
Higress是阿里云开源的云原生网关项目,基于Wasm插件的扩展能力,可以基于LLM Proxy插件对接不同的LLM提供商,同时支持AI Assistant插件帮助开发者快速构建RAG应用。
本项目希望在AI网关场景下实现基于向量相似度的LLM缓存结果召回插件。通过LLM提供商API(例如通义千问,moonshot,openai等)构建AI应用的场景,这个插件可以在保障结果质量的前提下,减少向LLM提供商API的请求数量,从而降低成本。
该插件需要实现以下基础能力:
- 可以和LLM Proxy以及AI Assistant插件联动,将LLM提供商返回的结果缓存在Redis(或其他向量数据库)中
- 支持基于请求向量相似度,从Redis(或其他向量数据库)中召回LLM响应,替代向LLM提供商发起请求
在此基础上,要求插件的向量召回能力有较高的准确率和召回率。