zhangxianglink
Results
1
comments of
zhangxianglink
> @wenzhaoabc 你试试 vllm 貌似不行 试了，vllm要独占一块卡，改成Transformers 能在一块4090运行下面俩模型 --model-engine Transformers --gpu-idx 1 -n qwen2-instruct -f pytorch --gpu_memory_utilization 0.7 --model-engine Transformers --gpu-idx 1 -n qwen2-instruct -f pytorch