dle666

> @panzhang0212 遇到了同样的问题，相同的数据集在全量配置脚本上可以运行，不知道是否是peft版本问题导致的，peft==0.6.0 > > ``` > /usr/local/lib/python3.9/dist-packages/torch/utils/checkpoint.py:31: UserWarning: None of the inputs have requires_grad=True. Gradients will be None > warnings.warn("None of the inputs have requires_grad=True. Gradients will be None")...

> 现有的模型加载方式会报错，找不到config文件 -> 能否提供相应的错误日志？谢谢。 

> 您在推理过程中是否设置了 .eval() 模式？ 我已经设置了eval，并且我发现当我把在geo3k的训练集上lora微调后的模型（loss已下降到0.03）再次加载在同一数据集上进行训练时，loss又变为了1.7，是否是模型保存或加载出现了问题（原代码加载微调后的模型会报错，我是使用automodel加载的）

> 您在推理过程中是否设置了.eval()模式？ > > 您在推理过程中是否设置了.eval()模式？ > > 我已经设置了eval，并且我发现当我把在geo3k的训练集上lora参数后的模型（loss已恢复到0.03）再次加载在相同数据集上进行时，loss又变成了1.7，是否是模型保存或加载出现了问题（原代码加载操作后的模型会报错，我是使用automodel加载的） 补充一下，我在全参数微调时并没有遇见这种情况

> 您的 LoRA 模型似乎未正确加载。你用[这里的](https://github.com/InternLM/InternLM-XComposer/blob/main/finetune/README.md#lora-finetuning)`AutoPeftModelForCausalLM`课程吗？[](https://github.com/InternLM/InternLM-XComposer/blob/main/finetune/README.md#lora-finetuning) 我在测试的时候是用这个加载的，再次微调也使用这个来加载吗？

> > 您的LoRA模型似乎未正确加载。您用[这里的](https://github.com/InternLM/InternLM-XComposer/blob/main/finetune/README.md#lora-finetuning)`AutoPeftModelForCausalLM`课程吗？ > > 我在测试的时候是用这个加载的再次，调节也使用这个来加载吗？ 补充一下，在测试过程中使用AutoPeftModelForCausalLM加载并不能解决训练loss和测试结果不对齐的问题

I encountered the same problem, have you solved it?

When will the training codes be released?

Please advise, how should I merge the trained Gemma3 weights? I currently encounter an error: ValueError: Unrecognized configuration class for this kind of AutoModel: AutoModelForVision2Seq. I don't know how to...

I had the same problem, did you solve it?