南孜

模型选择none量化，指定到特定GPU index，无法正常启动，始终报GPU 0的资源不足。

3

> 我的机器有8卡，其中4,5 卡的资源空闲，其他卡非空闲。模型类型为pytorch，看了官网说明要量化类型为none，才会启动vLLM引擎。所以我就设置了量化类型为none，并且指定到了空闲的GPU 卡上，但是启动不来。 ## 步骤和结果： > [!IMPORTANT] > 注意： > 我GPU0 资源不足， GPU4, GPU5都是空闲的。 > 模型：qwen1.5-chat ， size： 14 ，类型:pytorch 步骤1 ： 如果我选择量化为4或者 8 ，指定到gpu4 ， 则均能正常启动。 步骤2：如果我选择量化为none， 指定到gpu4，...

**例行检查** [//]: # (方框内删除已有的空格，填 x 号) + [x ] 我已确认目前没有类似 issue + [x ] 我已确认我已升级到最新版本 + [ x] 我已完整查看过项目 README，已确定现有版本无法满足需求 + [x ] 我理解并愿意跟进此 issue，协助测试和提供反馈 + [ x] 我理解并认可上述内容，并理解项目维护者精力有限，**不遵循规则的 issue...