MaxKB icon indicating copy to clipboard operation
MaxKB copied to clipboard

[Bug] Api using maxkb in homeassistant cannot control smart home

Open happyliy opened this issue 8 months ago • 1 comments

Contact Information

932081299 QQ

MaxKB Version

v1.10.2-lts (build at 2025-03-05T19:39, commit: bc3dcda1)

Problem Description

当我在使用maxkb中我自己创建的应用中的api时,我把他放进我的homeassistant的openai的里面,希望他可以作为一个语音助手帮助我控制智能家居,但是我发现通过这种方式接入的大模型无法识别我的指令。

Image 这个是我用同样的方式部署的一个是阿里云的千问,一个是本地的ollama 部署的qwen2.5:3b的本地大模型到maxkb 下面使用同样的方法在语音助手中询问相同的问题 这个是maxkb部署的 Image 这个是云端阿里云的 Image 相同的问题给出了皆然不同的回答,如果再进一步要他们控制设备

Image

Image 这里后台是可以看到我通过api提的问的 Image

阿里云的云端大模型可以直接控制本地的设备,但是maxkb上部署的完全不行,甚至可以说是没听懂 我曾经怀疑过是不是本地部署的大模型太笨了导致无法控制,但是我把homeassistant上的语音助手直接接入ollama的大模型是直接可以控制的,但是如果这个大模型经过了maxkb的一层转译就无法正常控制本地的智能家居

Image

Image

Image 使用的都是完全相同的模型,但是maxkb的就是无法控制智能家居 我认为有可能的问题的是,homeassistant中控制智能家居是通过api给大模型提供了提示词和让大模型的输出规范化,才让大模型达到可以控制本地的智能家居的结果。但是有可能maxkb在接收到homeassistant的信息之后用自己的提示词覆盖掉了,导致本地的大模型无法接收到homeassistant的提示词,导致无法正常控制。但是在maxkb的应用中我已经把系统角色这种都去掉了

Image 他依旧是无法控制的状态,这样如果我想通过api来加提示词的话就无法往上加,而且我也没有在maxkb找到关闭这个的选项,这样会对api的实验带来麻烦,所以我认为这是一个bug。

Steps to Reproduce

这个问题在调用maxkb的api时会出现

The expected correct result

No response

Related log output


Additional Information

No response

happyliy avatar Mar 08 '25 09:03 happyliy