HJT9328
Results
3
comments of
HJT9328
> RAY_memory_monitor_refresh_ms=0 CUDA_VISIBLE_DEVICES=2 swift infer --ckpt_dir /data/LLM_checkpoint/chatglm2-6b/chatglm2-6b --infer_backend vllm --tensor_parallel_size 1 这个是对版本有要求吗？ ms-swift 1.7.3 我目前的版本执行这个必须要添加merge_rola参数
但是全参数微调是没有使用到lora的，设置为true会报错