joker

感谢感谢 已经解决了 > torchrun --nproc_per_node=4就会启动DDP 微调的时候需要加上`--finetune_type from_finetuned_model`以及将`linear_head`放到`target_modules`中 上述报错是计算损失函数时，有些模型参数没有被使用引起的，可以设置`--ddp_find_unused_parameters True`来启用未使用参数检测。这样，PyTorch 会检查哪些参数在计算损失时没有被使用，从而帮助找出问题所在