higress icon indicating copy to clipboard operation
higress copied to clipboard

Update ai security guard

Open rinfx opened this issue 5 months ago • 1 comments

更新内容安全插件:

  • 配置更新:用户可以选择只在request/response阶段检测,或者都检测。如果被内容安全拦截,根据请求是否为流式返回流式/非流式响应。如果response阶段进行检测,虽然响应是流式的,但是需要缓存所有的chunk提取大模型的完整回答进行检测,所以在前端页面上表现为非流式。
  • 增加metrics以及span attributes供用户排查问题使用。

rinfx avatar Aug 29 '24 11:08 rinfx