higress

higress copied to clipboard

johnlanni

Higress 在浙江大学的太乙平台上线了开源贡献赛事： https://www.taiyi.top/competition-details?id=677296fe3e2476f305785c76 目前第一赛季已经启动，持续到 2025 年 4 月 30 号，欢迎大家参与：  参与开源还可以领取社区头衔荣誉：https://github.com/alibaba/higress/issues/480

johnlanni

## Why do you need it? 主流chat completions 和 embeddings 都以openai能力为主。 但是还有其他一下比较通用的场景的api，如rerank能力，这种openai没有支持的能力。 在ai-proxy中，将api的能力以 //的模式定义。 提升ai-proxy支持的能力广度，以应对rag场景。

pepesi

## Why do you need it? 内容安全策略（Content Security Policy，CSP): greatly reduce the risk of XSS attacks ## How could it be? I hope there is a plugin to help add...

tmsnan

使用 TCPRoute 但是 gateway 没有开启相应端口的监听

12

有个类似的 issue，https://github.com/alibaba/higress/issues/1371 但是我看了下我应该不符合上面这个 case。 相关配置信息 higress-gateway ```yaml apiVersion: apps/v1 kind: Deployment metadata: annotations: deployment.kubernetes.io/revision: "3" meta.helm.sh/release-name: higress meta.helm.sh/release-namespace: higress-system creationTimestamp: "2025-01-17T07:48:42Z" generation: 4 labels: app: higress-gateway app.kubernetes.io/managed-by: Helm app.kubernetes.io/name: higress-gateway...

jaymie9019

希望 AI Proxy 插件能对未对接的接口进行反代

4

## Why do you need it? Is your feature request related to a problem? Please describe in details ## How could it be? AI Proxy 插件目前仅支持 completions / embeddings 相关接口的调用...

daixijun

 想基于这个功能做一个cdn控制台，但是所有的上游配置都放在default中，不好做数据隔离。我们还需要再做一个关系表来确定多个registries的分组问题。如果支持来自多个yaml配置应该是最优解，希望可以支持一下

w7team

## Why do you need it? 商业化的使用场景中，对可观测能力的需求很重要，既希望不破坏原有的 API 协议，又希望拥有更多的扩展能力。 ## How could it be? - Observability 能力通过 metadata 来支持，各种第三方的集成，例如 langfuse/otel/postHG/langfire/sentry 等等都可以适配 - 另外对于 /chat 而言，很多观测平台是对 [用户][会话][Prompt][Caching][Stream] 都做了深度支持，所以还是基于 OpenAI 的 标准API...

gumutianqi

johnlanni

johnlanni