有两张显卡，模型默认运行在 cuda 0，怎么修改运行到另一张卡 cuda 1 上？

[corengh]

CPU：INTEL XEON PLATINUM 8582C 2.6GHZ 60核 内存：DDR5-5600 32G × 8 显卡：NVIDIA GeForce RTX 3090 24G × 2 系统：Ubuntu 24.04 KTranformers 版本：0.3.2 加载模型：DeepSeek-R1-UD-IQ1_S（140.23G）

有两张显卡，启动服务后默认运行在 cuda 0，想要将它修改到 cuda 1 上。

尝试将 DeepSeek-V3-Chat-serve.yaml 文件中关于 cuda 的设置都修改成了 cuda 1，但是加载的时候显示还是有小部分内容在 cuda 0 上，以致于最后没有运行成功。

想请教下如何解决？

[ZelinMa557]

可以用cuda visible device环境变量设置吧，让进程只能看到cuda 1

[corengh]

可以用cuda visible device环境变量设置吧，让进程只能看到cuda 1

好使的，多谢