MaxKB icon indicating copy to clipboard operation
MaxKB copied to clipboard

[BUG]tokens异常,导致模型无法答复

Open dlluckboy opened this issue 1 year ago • 5 comments

联系方式

No response

MaxKB 版本

1.5.1

问题描述

tokens异常,导致模型无法答复

重现步骤

tokens异常,导致模型无法答复 我上传了一个文档,大概内容如下 image 我将内容从excel中拷贝到word中,然后上传到maxkb,使用的智能分段,生成了26个段落 68f52b01bb532d3607f1ed253add7ab8_ 但是如果我传的这个文档,只分两段 257dc99c06c5f03dd080f1ea69b012dc_ 进行提问的时候,就会出现之前我说的不回答的现象,而且显示使用的tokens数特别大,模型无法答复出结果。 f5903ec765f64a89c778ceb9c5c2dd2d_

期待的正确结果

No response

相关日志输出

No response

附加信息

No response

dlluckboy avatar Sep 11 '24 04:09 dlluckboy

这可能是由于携带的内容过多导致模型无法回答,建议根据模型能接收的字符数进行分段或者更换处理能力更好的模型

zyyfit avatar Sep 12 '24 10:09 zyyfit

我用的GLM4-CHAT-1m,上下文长度应该都够用啊

dlluckboy avatar Sep 13 '24 01:09 dlluckboy

执行详情每个节点的 输入输出先看一下

baixin513 avatar Sep 13 '24 03:09 baixin513

下面是所有节点的解雇 image image image image image image image image image image image image

dlluckboy avatar Sep 18 '24 07:09 dlluckboy

执行详情每个节点的 输入输出先看一下

能分析出是什么问题吗?

dlluckboy avatar Sep 25 '24 06:09 dlluckboy

看执行详情中最后一次AI对话的提示词太长了,像是模型推理不出来,没有返回内容。

baixin513 avatar Oct 16 '24 09:10 baixin513

看执行详情中最后一次AI对话的提示词太长了,像是模型推理不出来,没有返回内容。

如果分段多一些就没问题,分两个分段就这样。

dlluckboy avatar Oct 17 '24 07:10 dlluckboy

建议你换个模型再试试,目前我们的测试环境上无法复现该问题。

baixin513 avatar Dec 05 '24 07:12 baixin513