LangChain-Chinese-Getting-Started-Guide icon indicating copy to clipboard operation
LangChain-Chinese-Getting-Started-Guide copied to clipboard

Published 20 hours ago • verified publisher icon liaokongVFX

本地问答知识库的问题

Open sdcg1994 opened this issue 2 years ago • 8 comments

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

sdcg1994 avatar May 20 '23 11:05 sdcg1994

我猜可能是因为你给的这些里面有重复的，我猜的。因为其大概的原理是根据你的输入，去向量数据库里面找类似的内容，然后把这些内容告诉chatgpt，chatgpt在基于你给的这些内容来回答问题。

SimFG avatar May 26 '23 06:05 SimFG

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

net592 avatar Jun 07 '23 13:06 net592

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

net592 avatar Jun 07 '23 13:06 net592

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

sdcg1994 avatar Jun 07 '23 14:06 sdcg1994

:-) 您好，收到了 ，尽快恢复

net592 avatar Jun 07 '23 14:06 net592

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

感谢大佬答复共勉，囤了8块V100打算研究下，边缘摸索一头雾水，寻找业务场景.

net592 avatar Jun 10 '23 05:06 net592

切片问题，导致有些文本的上下文是混乱的，所有在用 embedding query 的方式去找相似性的内容，要么找不到，要么找到的重复内容太多。从两个方面入手吧，数据清理和数据整理，帮助切片的内容构建上下文。

Vdan123 avatar Jul 01 '23 05:07 Vdan123

如何获取知识库返回的相关性内容数据列表？

aoxiaojun666 avatar Jul 03 '23 09:07 aoxiaojun666