FastGPT
FastGPT copied to clipboard
工具调用会经常莫名其妙超过token
例行检查
- [x] 我已确认目前没有类似 issue
- [x] 我已完整查看过项目 README,以及项目文档
- [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
- [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
- [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭
你的版本
- [ ] 公有云版本
- [x] 私有部署版本, 具体版本号: 4.7.1 问题描述
复现步骤
1.用工具调用接入多个知识库
2.每个知识库引用上限低于3000 token
3.提出的问题调用2个知识库,但显示token 超过模型上限16k
预期结果
正常调用多个知识库进行回答。或者如果调用内容超过上限,可以分词回答,再把结果进行整合
相关截图
我分别提问A是什么,B是什么 ,各消耗6000token, 但我如果提问A和B分别是什么,会调用两次工具 然后提示使用了32000token,超过上限。应该是tool工具的设计哪里有bug
我把引用降低到2k,一次问两个东西,实际消耗6k,但是一次问3个东西提示报错提示21k超过上限。应该是在tool统计token的时候有问题,实际不用这么多
先记下
先记下
老哥 这个新版本有修复吗