wowoniu

base model + lora vs merged后的模型进行推理不一致

6

### 是否已有关于该错误的issue或讨论？ | Is there an existing issue / discussion for this? - [X] 我已经搜索过已有的issues和讨论 | I have searched the existing issues / discussions ### 该问题是否在FAQ中有解答？ | Is there an...

swift infer 单机多卡显存分配不均

2

如题，使用swift infer 进行qwen2.5-vl-72b模型对测试集进行推理，发现显存分配不均，0卡显存占满，其他卡占用不到一半。 脚本 `CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 \ MAX_PIXELS=1003520 \ swift infer \ --model /njfs/train-material/models/Qwen2.5-VL-72B-Instruct \ --infer_backend pt \ --temperature 0 \ --max_new_tokens 4096 \ --val_dataset data/quality_check_porn/swift.jsonl \ --result_path infer_result/swift.jsonl \ --max_batch_size...