FastGPT
FastGPT copied to clipboard
自动压缩上下文聊天记录,在节省 Token 的同时支持超长对话
例行检查
- [x] 我已确认目前没有类似 features
- [x] 我已确认我已升级到最新版本
- [x] 我已完整查看过项目 README,已确定现有版本无法满足需求
- [x] 我理解并愿意跟进此 features,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 features 可能会被无视或直接关闭
功能描述 在AI界面,设置上下文token上限,超过token上限对上下文内容请求AI对内容进行压缩,主要保留用户在上下文中的关键要求,设定,对问答的矫正,以及对问答记录高度总结(这部分内容不重要)。 应用场景 个人AI助理,长对话 相关示例
看到GPT新增长记忆了 由用户选择是否保留记忆,可以考虑加入这个功能?
你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token
你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token
做无限上下文,如果上下文累计字数超过一定阈值,一次性请求一次AI对于上下文内容提取对于AI与用户交互有用的信息,形成一种伪无限记忆的效果,如:
- 兴趣和偏好:如用户要求以怎样的风格、形式对话
- 任务和需求习惯
- 其他个性化信息:特别的个人信息、偏好的服务类型、重要日子等。
- 用户纠正的错误
- 用户要求记住的信息
会话历史中的关键信息提取 +1
你这个太矛盾了~ 压缩也需要用 token,多一次压缩操作,不是比原来更废token
压缩只需要一轮token数L,后续token数变成了K+n,但是不压缩的话每轮的token数都需要L+n呀。L>>K