chat-ollama icon indicating copy to clipboard operation
chat-ollama copied to clipboard

Published 20 hours ago • verified publisher icon sugarforever

本地知识库文本格式是否不准确

Open jingnorth opened this issue 10 months ago • 3 comments

本地知识库用文本格式的文件上传，用llama3试用，发现回答的不准确，是否目前必须使用pdf的格式？ 另外请问本地知识库的搜索精确性是否取决于RAG的架构，搜索的结果输出才和大模型相关，也就是说搜索的精确性和大模型关联性不大呢

jingnorth avatar Apr 25 '24 03:04 jingnorth

试了不同的embeding,用了千问和llama模型，测试了同样内容的文本和pdf的本地知识库，准确率确实不太高，希望能增强RAG搜索的精确性

jingnorth avatar Apr 25 '24 10:04 jingnorth

这个主要和模型能力有关，llma3 70b会好一些

hiwujie avatar Apr 30 '24 08:04 hiwujie

@jingnorth 精度不高的原因有两方面，一个是模型自身的推理能力不行，另一个是目前实现的RAG检索机制还有待提高。

llama 3 70b会比8b强些。llama 2相对还是比较弱的

sugarforever avatar Apr 30 '24 09:04 sugarforever