higress
higress copied to clipboard
alibaba
🤖 AI Gateway | AI Native API Gateway
## 操作步骤： helm安装的应用：包括deployment，service，ingress higress：界面上不做任何操作 流量经过：域名-->higress的gateway-->进入部署的应用 出现现象：http可以访问，https出现404 404日志如图：
## 项目产出要求 1. 可以和LLM Proxy以及AI Assistant插件联动，将LLM提供商返回的结果缓存在Redis中 2. 支持基于请求向量相似度，从Redis中召回LLM响应，替代向LLM提供商发起请求 3. 设计评估插件召回效果的测试用例，评估插件的准确率和召回率，并能根据测试结果进一步优化插件逻辑 ## 项目描述 在AI时代，对网关的需求已经远远超越了传统的路由和负载均衡功能，形成了AI网关的形态。AI网关可以为AI应用开发者提供便利，统一不同LLM提供商的API协议，并提供API编排、安全、稳定性和成本控制等扩展功能。 Higress是阿里云开源的云原生网关项目，基于Wasm插件的扩展能力，可以基于LLM Proxy插件对接不同的LLM提供商，同时支持AI Assistant插件帮助开发者快速构建RAG应用。 本项目希望在AI网关场景下实现基于向量相似度的LLM缓存结果召回插件。通过LLM提供商API（例如通义千问，moonshot，openai等）构建AI应用的场景，这个插件可以在保障结果质量的前提下，减少向LLM提供商API的请求数量，从而降低成本。 该插件需要实现以下基础能力： 1. 可以和LLM Proxy以及AI Assistant插件联动，将LLM提供商返回的结果缓存在Redis（或其他向量数据库）中 2. 支持基于请求向量相似度，从Redis（或其他向量数据库）中召回LLM响应，替代向LLM提供商发起请求 在此基础上，要求插件的向量召回能力有较高的准确率和召回率。
``` java MyResponse getPosition(Position pos); public class Position implements Serializable { public String name; public Long age; public Integer weight; public Float height; private Date born; private List innerTags; private...
## 第一步：创建一个名为 `docker-compose.yml` 的文件，并填入以下内容： > 注意： > 1. `YOUR_DASHSCOPE_API_KEY` 需要替换为你自己的[通义千问的 API Key](https://help.aliyun.com/zh/dashscope/opening-service?spm=a2c4g.11186623.0.0.72c2369dLprd45)； > 2. `/path-to-local-config-folder` 需要替换为一个本地可以用来保存配置文件的目录路径。 > 3. `CODE=访问密码` 这里换成你自己的密码 ```yaml version: '3.9' networks: higress-net: external: false services: higress: image:...
请问higress可以实现这个需求吗：从请求的url参数里读取key-value并将这个value值作为目的地址进行转发 ## Why do you need it? Is your feature request related to a problem? Please describe in details 业务需求，对于长连接业务需要指定到对应的pod。nginx上有类似的配置可以实现： proxy pass http://$arg_server; $arg_是nginx原生支持的关键词，可以从url里解析参数(https://nginx.org/en/docs/http/ngx_http_core_module.html#var_arg_) 希望higress也能实现类似功能
 如图阿里云网关支持配置这块,,,higress不清楚如何实现,我目前使用的higress版本为1.4.0
https://aws.amazon.com/bedrock/claude/
系统：macos 13.6 intel docker：24.0.2 higress：1.4.0 复现过程： 依照[快速开始](https://higress.io/zh-cn/docs/user/quickstart)在本地使用kind构建k8s，并安装higress 安装任意wasm插件后envoy崩溃 插件： ```apiVersion: extensions.higress.io/v1alpha1 kind: WasmPlugin metadata: name: request-block namespace: higress-system spec: defaultConfig: block_urls: - swagger.html - foo=bar case_sensitive: false url: oci://higress-registry.cn-hangzhou.cr.aliyuncs.com/plugins/request-block:1.0.0 ```...
https://developers.generativeai.google/