KAG icon indicating copy to clipboard operation
KAG copied to clipboard

无法使用本地模型调用知识库内容

Open admin-KF opened this issue 7 months ago • 5 comments

文档正确的读取并进行了知识抽取。使用通义千问官方模型问答可以调取知识库的内容进行回答。 使用本地的ollama模型问答时不管问什么都回答KAG的简介,无法调取知识库的内容回答。

Image

admin-KF avatar May 19 '25 09:05 admin-KF

我也遇到了相同的问题,但是我的不是本地ollma,而是自己本地搭建的vllm,用的模型是qwen3。但是调用硅基流动就不会,也是qwen3。被这个问题困扰了好久没找到如何解决

5terran avatar May 29 '25 07:05 5terran

我也遇到了相同的问题,但是我的不是本地ollma,而是自己本地搭建的vllm,用的模型是qwen3。但是调用硅基流动就不会,也是qwen3。被这个问题困扰了好久没找到如何解决

应该是在产品端发生的问题。产品端在调用 SolverMain.invoke()的时候,使用了 main_solver.py 中的 qa()方法,在回答问题的时候,先调用了 “self_cognition_pipeline”,如果 self_cognition_pipeline 做出了应答,那么就会返回 self_cognition 结果,而这个pipeline 读取了 kag_intro_zh.md,这个文件是数据来源。

这个现象是执行 self_cognition 的返回发生了错误,导致真正的pipeline没有被执行。

除了修改代码,还没有想到其他可行方法。

thundax-lyp avatar May 29 '25 08:05 thundax-lyp

文档正确的读取并进行了知识抽取。使用通义千问官方模型问答可以调取知识库的内容进行回答。 使用本地的ollama模型问答时不管问什么都回答KAG的简介,无法调取知识库的内容回答。

Image

You can follow the Chat Model Conf of KAG to close thinking:

Image

caszkgui avatar Jun 02 '25 01:06 caszkgui

我也遇到了相同的问题,但是我的不是本地ollma,而是自己本地搭建的vllm,用的模型是qwen3。但是调用硅基流动就不会,也是qwen3。被这个问题困扰了好久没找到如何解决

应该是在产品端发生的问题。产品端在调用 SolverMain.invoke()的时候,使用了 main_solver.py 中的 qa()方法,在回答问题的时候,先调用了 “self_cognition_pipeline”,如果 self_cognition_pipeline 做出了应答,那么就会返回 self_cognition 结果,而这个pipeline 读取了 kag_intro_zh.md,这个文件是数据来源。

这个现象是执行 self_cognition 的返回发生了错误,导致真正的pipeline没有被执行。

除了修改代码,还没有想到其他可行方法。

你好,可以指导以下具体怎么修改吗?

admin-KF avatar Jul 03 '25 08:07 admin-KF

我也遇到了相同的问题,但是我的不是本地ollma,而是自己本地搭建的vllm,用的模型是qwen3。但是调用硅基流动就不会,也是qwen3。被这个问题困扰了好久没找到如何解决

应该是在产品端发生的问题。产品端在调用 SolverMain.invoke()的时候,使用了 main_solver.py 中的 qa()方法,在回答问题的时候,先调用了 “self_cognition_pipeline”,如果 self_cognition_pipeline 做出了应答,那么就会返回 self_cognition 结果,而这个pipeline 读取了 kag_intro_zh.md,这个文件是数据来源。 这个现象是执行 self_cognition 的返回发生了错误,导致真正的pipeline没有被执行。 除了修改代码,还没有想到其他可行方法。

你好,可以指导以下具体怎么修改吗?

May I ask which chat model are you using? If you choose the think model such as qwen3\deepseek-r1, you need to turn off the think mode. You can follow the Chat Model Conf of KAG to close thinking:

caszkgui avatar Jul 03 '25 11:07 caszkgui