dify icon indicating copy to clipboard operation
dify copied to clipboard

回答长度问题

Open sandycs-protoss opened this issue 2 years ago • 6 comments

今天上传了3个txt文本作为知识库上下文。并撰写了简单的系统提示词 实际测试时。发现回答内容被截断(应该是长度不够导致的)

APP部署地址: https://chat.cayleelee.com/chat/91mCOkb12RHuV51t 测试时使用:“我的命宫是文右/天昌/弼鉞,这说明什么呢?”

回答到最后可以明显发现回答没有说完。不知道是不是上下文内容太多导致了最后给答复的空间不够了 如果需要检查每次请求的Request Token,有没有地方可以看

sandycs-protoss avatar May 22 '23 07:05 sandycs-protoss

#133 数据的命中优化问题可以查看这个

JohnJyong avatar May 22 '23 08:05 JohnJyong

数据命中优化是另一个问题了 根据测试确实命中率有点问题,我自己撰写了一个余弦相似度对比比dify表现得要好。我在生成数据的时候增加了一个summary功能,就是对数据做一些简单的总结。 现在的问题是回答长度,我感觉是不是在实现的过程中,没有对长度做优化,加了太多上下文导致回答长度不足

sandycs-protoss avatar May 22 '23 09:05 sandycs-protoss

设置的地方是有最大token的设置的,你看看是不是现在的比较小。

crazywoola avatar May 23 '23 02:05 crazywoola

我看了下引擎的地方确实有大小设置 但是问题好像不出在引擎上。在回答开始流式传输后大概几秒。回答就中断了。报了一个一闪而过的错误,大概好像是json格式之类的,由于太快。无法截屏

sandycs-protoss avatar May 23 '23 08:05 sandycs-protoss

如果刷新页面。会发现其实回答已经完整的写出了。只是页面无法正常显示

sandycs-protoss avatar May 23 '23 08:05 sandycs-protoss

可能外层的网关配了较短的 read_timeout?

takatost avatar May 23 '23 09:05 takatost

错误信息看到了: Synax Error: Expected double-quoted property name in JSON at position 21 该错误发生与回答过程中

sandycs-protoss avatar May 23 '23 23:05 sandycs-protoss

对不起,看起来是宿主机的反向代理配置问题。不过实在不知道怎么配置了。这个问题先close吧,毕竟不是项目的问题 我是把docker的80映射到了主机的12345端口 然后在宿主机的nginx中配置了https,反向代理12345端口 目前看来这么配置有问题,即使是在聊天输入时也会导致input handler的时间让人难以忍受 可能docker不是完美的方案。还是要自己搭建环境造梯子

sandycs-protoss avatar May 24 '23 00:05 sandycs-protoss