王士熏

目前使用 vllm 的方式運行8B模型 ```bsah export NUM_GPUS=1 export PORT=8000 docker run \ -e HF_TOKEN=$HF_TOKEN \ --gpus all \ -v ~/.cache/huggingface:/root/.cache/huggingface \ -p "${PORT}:8000" \ --ipc=host \ vllm/vllm-openai:v0.4.0.post1 \ --model "yentinglin/Llama-3-Taiwan-8B-Instruct" \...