薛宏伟

Results 3 comments of 薛宏伟

建议你直接将其部署为兼容 OpenAI 接口的 API服务,然后配置 BaseURL 和 API_KEY 就可以了。 否则就需要自定义ChatAgent子类,可以参考OpenAI的实现方式: https://github.com/arcstep/illufly/blob/main/illufly/community/openai/chat.py

感谢关注。 已经做了很多RAG方面的努力,也包含大部份已经流行的RAG设计方案,包括您提到的这种场景。 但因为没有框架还在早期状态,概念设计上经常改动,所以我没有正式更新到文档。 这个问题我先保持 open,下周完善了RAG的文档之后一并回复您。

刚刚更新了文档,这是其中的一部份,当作回复: ### 内置 RAG 支持 使用 RAG(检索增强生成)是开发大模型应用时的常见场景。 illufly 内置了一些 RAG 实现策略,最简单的就是直接将背景知识添加到 Agent 中。 **构建最朴素的 RAG 应用:** ```python from illufly.chat import ChatQwen # 声明大模型实例 qwen = ChatQwen(knowledge=[ "我的女朋友名字叫林徽因,我喜欢叫她「银子」", "她喜欢叫我「金子」", ]) #...