corengh

有两张显卡，模型默认运行在 cuda 0，怎么修改运行到另一张卡 cuda 1 上？

2

CPU：INTEL XEON PLATINUM 8582C 2.6GHZ 60核 内存：DDR5-5600 32G × 8 显卡：NVIDIA GeForce RTX 3090 24G × 2 系统：Ubuntu 24.04 KTranformers 版本：0.3.2 加载模型：DeepSeek-R1-UD-IQ1_S（140.23G） 有两张显卡，启动服务后默认运行在 cuda 0，想要将它修改到 cuda 1 上。 尝试将 `DeepSeek-V3-Chat-serve.yaml`...

模型大小140G，设备内存256G，不开启 NUMA，内存占用为什么只有4G左右？

3

CPU：INTEL XEON PLATINUM 8582C 2.6GHZ 60核 内存：DDR5-5600 32G × 8 显卡：NVIDIA GeForce RTX 3090 24G × 2 系统：Ubuntu 24.04 KTranformers 版本：0.3.2 加载模型：DeepSeek-R1-UD-IQ1_S（140.23G） 双路主板，但是目前只使用了一路 CPU。 编译时不使用 `export USE_NUMA=1` ，运行时内存占用只有 4G 左右，显存占用...