FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

工具调用会经常莫名其妙超过token

Open lijiajun1997 opened this issue 10 months ago • 4 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: 4.7.1 问题描述

复现步骤 1.用工具调用接入多个知识库 2.每个知识库引用上限低于3000 token 3.提出的问题调用2个知识库,但显示token 超过模型上限16k 预期结果 正常调用多个知识库进行回答。或者如果调用内容超过上限,可以分词回答,再把结果进行整合 相关截图 image image

lijiajun1997 avatar Apr 15 '24 02:04 lijiajun1997

我分别提问A是什么,B是什么 ,各消耗6000token, 但我如果提问A和B分别是什么,会调用两次工具 然后提示使用了32000token,超过上限。应该是tool工具的设计哪里有bug

lijiajun1997 avatar Apr 15 '24 03:04 lijiajun1997

image image

我把引用降低到2k,一次问两个东西,实际消耗6k,但是一次问3个东西提示报错提示21k超过上限。应该是在tool统计token的时候有问题,实际不用这么多

lijiajun1997 avatar Apr 15 '24 03:04 lijiajun1997

先记下

c121914yu avatar Apr 15 '24 15:04 c121914yu

先记下

老哥 这个新版本有修复吗

lijiajun1997 avatar Apr 26 '24 04:04 lijiajun1997