Akira4ever

> > 您好，请问您是微调的72B Base模型吗（可以提供下微调的模型名称）? [文档中](https://github.com/QwenLM/Qwen/blob/main/README_CN.md?rgh-link-date=2023-12-04T09%3A40%3A06Z#%E6%98%BE%E5%AD%98%E5%8D%A0%E7%94%A8%E5%8F%8A%E8%AE%AD%E7%BB%83%E9%80%9F%E5%BA%A6)提到，如果微调了Base模型（或者名字不带有"chat"的模型），则会将embedding加入finetune中，目前ZeRO 3对这种方式的支持仍然存在issue中提到的问题，建议修改finetune.py代码，显式将embedding排除出微调参数： > > ```python > > if lora_args.q_lora or 'chat' in model_args.model_name_or_path.lower(): > > modules_to_save = None > > else: > > # modules_to_save =...