Jiqiren87

> 我去hughing face看了一下unsloth的UD-Q8_K_XL，没有看到什么特殊的格式。 请问一下您安装的kt版本，我去下个权重跑一下看看 我用0.31版本部署了UD-Q8_K_XL，local_chat能够正常运行，但是部署成服务器就会出现TypeError: DeepseekV3RMSNorm.forward() takes 2 positional arguments but 4 were given。正在尝试去掉多并发是否能正常运行。 测试结果： 不开启多并发，删除--backend_type balance_serve，能够正常运行，cpu_infer设置为49，numa=1，解码大约会在10 tokens/s 上下。 英特尔8468*2 内存： 64G DDR5 5600Mt*32 显卡：L40s*1，Ubuntu 22.04 但是一旦带上--backend_type balance_serve，即使是设置为2个并发，也在所有61层都加载完以后，启动一个服务线程时，出现TypeError: DeepseekV3RMSNorm.forward() takes...

检查了一下，确实是yaml用错了，没带serve的。谢谢 > > > 我去hughing face看了一下unsloth的UD-Q8_K_XL，没有看到什么特殊的格式。请问一下您安装的kt版本，我去下个权重跑一下看看 > > > > > > 我用0.31版本部署了UD-Q8_K_XL，local_chat能够正常运行，但是部署成服务器就会出现TypeError： DeepseekV3RMSNorm.forward（） takes 2 positional arguments but 4 were given。正在尝试去掉多并发是否能正常运行。 > > 测试结果： 不开启多并发，删除--backend_type balance_serve，能够正常运行，cpu_infer设置为49，numa=1，解码大约会在10 tokens/s 上下。英特尔8468_2 内存：...