yesl16

> 哈喽，我微调自己的数据，也变差了，你找到原因了嘛。而且我发现他这个显存占用特别高 我参考[swift的文档](https://swift.readthedocs.io/zh-cn/latest/Instruction/%E9%A2%84%E8%AE%AD%E7%BB%83%E4%B8%8E%E5%BE%AE%E8%B0%83.html)用python直接加载lora checkpoint对验证集进行推理，能得到微调最后一致的eval_loss，说明lora checkpoint是正常的，应该是使用swift export进行merge_lora时出了问题。以下是我加载lora checkpoint以及merge的代码，希望能帮到你 ``` from swift.llm import ( PtEngine, RequestConfig, safe_snapshot_download, get_model_tokenizer, get_template, InferRequest ) from swift.tuners import Swift from swift.utils import copy_files_by_pattern model_dir = './base_model'...