CHNCZL

InternVL3_5-30B-A3B部署失败

3

我现在在一个5*4090D的服务器上用lmdeploy框架部署InternVL3_5-30B-A3B大模型，依次执行指令如下： 1. docker run -itd --name imdeploy --runtime nvidia --gpus '"device=1,2,3,4"' -e NCCL_P2P_DISABLE=1 -e NCCL_IB_DISABLE=1 -v /llm/models:/models -p 23333:23333 --ipc=host openmmlab/lmdeploy:latest-cu12 2. docker exec -it imdeploy bash 3. lmdeploy serve...