FastGPT icon indicating copy to clipboard operation
FastGPT copied to clipboard

知识库内容太多之后,就会导致回答的准确性下降

Open fzcccc opened this issue 1 year ago • 3 comments

例行检查

  • [x] 我已确认目前没有类似 issue
  • [x] 我已完整查看过项目 README,以及项目文档
  • [x] 我使用了自己的 key,并确认我的 key 是可正常使用的
  • [x] 我理解并愿意跟进此 issue,协助测试和提供反馈
  • [x] 我理解并认可上述内容,并理解项目维护者精力有限,不遵循规则的 issue 可能会被无视或直接关闭

你的版本

  • [ ] 公有云版本
  • [x] 私有部署版本, 具体版本号: 4.8.14

问题描述, 日志截图,配置文件等 知识库内容比较少的时候,回答的准确性很高,一旦知识库导入大量内容之后,就会引用一些无关的内容参与回答,导致回答的结果准确性下降,我用的是混合检索+结果重排,引用上限是2000,各位大佬有没有好的解决办法,谢谢了! 复现步骤

预期结果

相关截图

fzcccc avatar Dec 11 '24 07:12 fzcccc

模型的注意力问题,换能力强的模型,并在提示词里约束。 也可以去优化知识库结构,比如不要直接分割,进行QA拆分,或者其他预处理。 你可以人工看下,匹配出来的知识库,是否正确匹配到了相关知识,引用的是相关+不相关,还是全部是不相关。

lijiajun1997 avatar Dec 19 '24 03:12 lijiajun1997

模型的注意力问题,换能力强的模型,并在提示词里约束。 也可以去优化知识库结构,比如不要直接分割,进行QA拆分,或者其他预处理。 你可以人工看下,匹配出来的知识库,是否正确匹配到了相关知识,引用的是相关+不相关,还是全部是不相关。

我用的是glm4,知识库里面的知识全部都是直接分割,有什么更强的模型推荐吗,引进来的知识是相关+不相关,最后回答的结果就会掺杂着不准确

fzcccc avatar Dec 19 '24 03:12 fzcccc

模型的注意力问题,换能力强的模型,并在提示词里约束。 也可以去优化知识库结构,比如不要直接分割,进行QA拆分,或者其他预处理。 你可以人工看下,匹配出来的知识库,是否正确匹配到了相关知识,引用的是相关+不相关,还是全部是不相关。

我用的是glm4,知识库里面的知识全部都是直接分割,有什么更强的模型推荐吗,引进来的知识是相关+不相关,最后回答的结果就会掺杂着不准确

在知识库引用的提示词里,约束:知识库里可能又部分不相关的知识内容,你需要仔细理解和判断哪些知识内容与问题相关,根据相关的内容进行回答,不要引用无关内容。

lijiajun1997 avatar Dec 19 '24 03:12 lijiajun1997