[BUG]tokens异常,导致模型无法答复
联系方式
No response
MaxKB 版本
1.5.1
问题描述
tokens异常,导致模型无法答复
重现步骤
tokens异常,导致模型无法答复
我上传了一个文档,大概内容如下
我将内容从excel中拷贝到word中,然后上传到maxkb,使用的智能分段,生成了26个段落
但是如果我传的这个文档,只分两段
进行提问的时候,就会出现之前我说的不回答的现象,而且显示使用的tokens数特别大,模型无法答复出结果。
期待的正确结果
No response
相关日志输出
No response
附加信息
No response
这可能是由于携带的内容过多导致模型无法回答,建议根据模型能接收的字符数进行分段或者更换处理能力更好的模型
我用的GLM4-CHAT-1m,上下文长度应该都够用啊
执行详情每个节点的 输入输出先看一下
下面是所有节点的解雇
执行详情每个节点的 输入输出先看一下
能分析出是什么问题吗?
看执行详情中最后一次AI对话的提示词太长了,像是模型推理不出来,没有返回内容。
看执行详情中最后一次AI对话的提示词太长了,像是模型推理不出来,没有返回内容。
如果分段多一些就没问题,分两个分段就这样。
建议你换个模型再试试,目前我们的测试环境上无法复现该问题。