higress
higress copied to clipboard
Update ai security guard
更新内容安全插件:
- 配置更新:用户可以选择只在request/response阶段检测,或者都检测。如果被内容安全拦截,根据请求是否为流式返回流式/非流式响应。如果response阶段进行检测,虽然响应是流式的,但是需要缓存所有的chunk提取大模型的完整回答进行检测,所以在前端页面上表现为非流式。
- 增加metrics以及span attributes供用户排查问题使用。