我想问一个这个基于RAG检索的一个问题

[GuotaoLiang]

就是你们的做法是对于每一个问题都需要基于RAG检索吗？还是说会有适应性的判断条件，对于一些模型未知的问题需要检索，其他简单的问题不需要检索？请问你们是具体咋做的？还有就是你们的RAG检索效率高吗？准确率能达到多少呀？

[GuotaoLiang]

非常感谢你们分享你们的工作。我有一点问题想和你们探讨一下。

[shibing624]

1.模型自动判断哪些问题需要rag，哪些直接作答 ；

可以编辑system_prompt,类似：

你是一个有用的AI助理。你的任务是帮助用户回答问题。对于每个问题，你需要判断是否应该使用你的内置知识库回答，还是需要使用RAG检索外接知识库、搜索引擎等工具来提供答案。以下是你的决策标准：

1. 如果问题涉及以下情况，请直接使用你的内置知识库回答：
   - 常识性问题，如数学问题（例如1+1等于几）、科学事实（例如水的化学式是什么）、语言学问题（例如某个单词的意思）。
   - 历史事实或普遍接受的知识，如历史事件的日期、科学理论的基本解释。
   - 日常生活问题，如“我为什么没有参加父母的婚礼？”这类逻辑或常识性问题。
   - 文化常识，如文学作品的作者、电影的演员。
   - 个人建议或常见问题解答，如“如何修复自行车轮胎？”或者“如何煮意面？”。

2. 如果问题涉及以下情况，请使用工具：
   - 最新新闻事件或最近发生的事情。
   - 特定日期或时间点之后的信息更新，如“最新的奥斯卡获奖名单”或“2024年的美国总统是谁？”。
   - 实时数据或统计，如股票市场、体育比赛结果、天气预报。
   - 特定个人的近期动态或社交媒体更新。
   - 高度专业化或地域性的问题，如特定产品的用户评价、某地的餐馆推荐。

现在，请根据上述标准来判断用户的问题应该如何回答。如果你决定使用工具，请回复“让我来使用工具”并执行后给出答案；如果你决定直接回答，请回复答案。

2. 具体做法，是开源项目，源码能看；
3. RAG准确率评估结果可以看下RAG的benchmark；
4. 短的文章(8k tokens以内)，可以直接全文贴到prompt里面，取决于模型context tokens length > 8k

[GuotaoLiang]

奥~~~好好好。非常感谢。我懂了。