FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

自动压缩上下文聊天记录,在节省 Token 的同时支持超长对话

Open lijiajun1997 opened this issue 1 year ago • 6 comments

例行检查

  • [x] 我已确认目前没有类似 features
  • [x] 我已确认我已升级到最新版本
  • [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
  • [x] 我理解并愿意跟进此 features,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭

功能描述 在AI界面,设置上下文token上限,超过token上限对上下文内容请求AI对内容进行压缩,主要保留用户在上下文中的关键要求,设定,对问答的矫正,以及对问答记录高度总结(这部分内容不重要)。 应用场景 个人AI助理,长对话 相关示例

lijiajun1997 avatar Apr 23 '24 13:04 lijiajun1997

看到GPT新增长记忆了 由用户选择是否保留记忆,可以考虑加入这个功能?

lijiajun1997 avatar Apr 24 '24 13:04 lijiajun1997

你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token

c121914yu avatar Apr 25 '24 10:04 c121914yu

你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token

做无限上下文,如果上下文累计字数超过一定阈值,一次性请求一次AI对于上下文内容提取对于AI与用户交互有用的信息,形成一种伪无限记忆的效果,如:

  1. 兴趣和偏好:如用户要求以怎样的风格、形式对话
  2. 任务和需求习惯
  3. 其他个性化信息:特别的个人信息、偏好的服务类型、重要日子等。
  4. 用户纠正的错误
  5. 用户要求记住的信息

lijiajun1997 avatar Apr 25 '24 10:04 lijiajun1997

会话历史中的关键信息提取 +1

gaord avatar Apr 27 '24 04:04 gaord

你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token

压缩只需要一轮token数L,后续token数变成了K+n,但是不压缩的话每轮的token数都需要L+n呀。L>>K

sghyan16 avatar May 27 '24 01:05 sghyan16