KAG icon indicating copy to clipboard operation
KAG copied to clipboard

unknown error <class 'RuntimeError'>:invalid vectorizer config:object of type 'NoneType' has no len()

Open jueshiqing opened this issue 8 months ago • 14 comments

我是windows系统,下载安装了Ubuntu,然后在Ubuntu中按照用户手册的“生成(chat)模型”中”2.1.2 vllm 模型推理服务“安装了vllm、Qwen3-4B和deepseek-r1-distill-qwen-1.5B。 上述安装进程完全按照用户手册的“生成(chat)模型”中2.1.2 vllm 模型推理服务执行。

配置conda 加速

1.创建一个 Python 虚拟环境安装 vLLM $ conda config --add channels https://mirrors.aliyun.com/anaconda/pkgs/main $ conda create -n vllm_py310 python=3.10

$ conda activate vllm_py310

配置 pip 源

$ pip config set global.index-url https://mirrors.aliyun.com/pypi/simple

在虚拟环境中安装 vllm

$ pip install vllm 2.模型下载,可以通过modelsope下载模型 $ pip install modelscope $ modelscope download --model Qwen/Qwen3-4B 3.启动vllm服务 modelpath=/path/to/model/Qwen2.5-7B-Chat

单卡

python3 -m vllm.entrypoints.openai.api_server
--model $modelpath
--served-model-name Qwen3-4B
--trust-remote-code 4.发送测试请求

model 就是前面启动服务时的 served-model-name 参数

curl http://localhost:8000/v1/chat/completions
-H "Content-Type: application/json"
-d '{ "model": "qwen25-7B-chat", "messages": [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "你是谁?"} ] }'

上面步骤均成功执行。全局配置中“通用配置”和“模型配置”如附件图所示,其中对“模型配置”按照用户手册的“生成(chat)模型”中2.2.1配置。

“模型配置”中选择vllm-添加模型- model:Qwen3-4B base_url:http://localhost:8000/v1/chat/completions / http://ip:8000/v1/chat/completions desc:Qwen3-4B 点击对话框的“确定”按钮后,均显示 “unknown error <class 'RuntimeError'>:invalid vectorizer config:object of type 'NoneType' has no len()”

Image

Image

Image

Image Image

jueshiqing avatar May 07 '25 10:05 jueshiqing

感谢您的反馈,我们已在 #531 修复此问题,祝您使用愉快~

northmachine avatar May 12 '25 05:05 northmachine

  您好,您的邮件我已收到 谢谢啊  辛苦了

jueshiqing avatar May 12 '25 05:05 jueshiqing

感谢您的反馈,我们已在 #531 修复此问题,祝您使用愉快~

您好,实际上我在这儿等候您的回复很久了。您的回复过于简短,我接触KAG的时间不久,实在无法理解您的意思,不知道什么样的具体实操步骤可以解决上述问题。

我做了如下尝试: “模型配置”中选择vllm-添加模型- model:Qwen3-4B base_url:http://localhost:8000/v1/chat/completions / http://ip:8000/v1/chat/completions / http://host.docker.internal:8000/v1/chat/completions / http://172.17.0.1:8000/v1/chat/completions desc:Qwen3-4B 点击对话框的“确定”按钮后,仍然均显示

Image

“unknown error <class 'RuntimeError'>:invalid vectorizer config:object of type 'NoneType' has no len()”

请问我应该进行版本更新还是怎么做,才能解决上述的问题?请您给出具体的步骤,辛苦了。

jueshiqing avatar May 12 '25 08:05 jueshiqing

感谢您的反馈,我们已在 #531 修复此问题,祝您使用愉快~

您好,实际上我在这儿等候您的回复很久了。您的回复过于简短,我接触KAG的时间不久,实在无法理解您的意思,不知道什么样的具体实操步骤可以解决上述问题。

我做了如下尝试: “模型配置”中选择vllm-添加模型- model:Qwen3-4B base_url:http://localhost:8000/v1/chat/completions / http://ip:8000/v1/chat/completions / http://host.docker.internal:8000/v1/chat/completions / http://172.17.0.1:8000/v1/chat/completions desc:Qwen3-4B 点击对话框的“确定”按钮后,仍然均显示

Image

“unknown error <class 'RuntimeError'>:invalid vectorizer config:object of type 'NoneType' has no len()”

请问我应该进行版本更新还是怎么做,才能解决上述的问题?请您给出具体的步骤,辛苦了。

You can wait one or two days for latest image, which will support qwen3 model deployed in local env by vllm/ollama. Meanwhile,you can package KAG in developer mode and reinstall it in release-openspg-server container.

caszkgui avatar May 12 '25 08:05 caszkgui

Try using http://localhost:8000/v1 as base_url instead of http://localhost:8000/v1/chat/completions.

chat/completions is the api path, which is not part of the base url.

xionghuaidong avatar May 20 '25 02:05 xionghuaidong

试了下,最新的镜像也不行,文档里压根不写支持什么模型,纯靠用户自己试出来。 更诡异的是bge-m3在yaml可以,docker启动后UI设置会报这个错误,放qwen3:14b又正常

triangle959 avatar Jul 31 '25 13:07 triangle959

我也遇到了这个问题,请问如何解决?困扰了好久了,联系官方邮箱也一直没有给我回复

edge1999 avatar Aug 20 '25 00:08 edge1999

  您好,您的邮件我已收到 谢谢啊  辛苦了

jueshiqing avatar Aug 20 '25 00:08 jueshiqing

试了下,最新的镜像也不行,文档里压根不写支持什么模型,纯靠用户自己试出来。 更诡异的是bge-m3在yaml可以,docker启动后UI设置会报这个错误,放qwen3:14b又正常

https://openspg.github.io/v2/docs_ch

chat model configuration: Image

embedding model configuration:

Image

caszkgui avatar Aug 20 '25 00:08 caszkgui

我也一直没有有效的解决方法

发自我的iPhone

------------------ Original ------------------ From: li @.> Date: Wed,Aug 20,2025 8:24 AM To: OpenSPG/KAG @.> Cc: QiuYu @.>, Author @.> Subject: Re: [OpenSPG/KAG] unknown error <class 'RuntimeError'>:invalidvectorizer config:object of type 'NoneType' has no len() (Issue #523)

jueshiqing avatar Aug 20 '25 01:08 jueshiqing

不过我的前端界面没有json配置选项,这个是去容器中找到配置文件修改吗?

edge1999 avatar Aug 20 '25 11:08 edge1999

我不懂说的这个,我去外地出长差了,后面回了单位继续研究

发自我的iPhone

------------------ Original ------------------ From: li @.> Date: Wed,Aug 20,2025 7:44 PM To: OpenSPG/KAG @.> Cc: QiuYu @.>, Author @.> Subject: Re: [OpenSPG/KAG] unknown error <class 'RuntimeError'>:invalidvectorizer config:object of type 'NoneType' has no len() (Issue #523)

edge1999 left a comment (OpenSPG/KAG#523)

不过我的前端界面没有json配置选项,这个是去容器中找到配置文件修改吗?

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

jueshiqing avatar Aug 20 '25 12:08 jueshiqing

请问这个是否有解决?我尝试了这上面支持的所有平台,貌似ds的chat是可以的,但是其他有embedding功能的平台都会报错这个内容。与题主不同,我使用的是在线模型。另外,我没太搞明白这里的JSON格式是在哪里修改?是在KAG的源代码吗?

Image

oxygen-anoxia avatar Sep 10 '25 12:09 oxygen-anoxia

  您好,您的邮件我已收到 谢谢啊  辛苦了

jueshiqing avatar Sep 10 '25 12:09 jueshiqing