Baichuan-QLora icon indicating copy to clipboard operation
Baichuan-QLora copied to clipboard

Published 20 hours ago • verified publisher icon Macielyoung

trainer.train(resume_from_checkpoint=resume_from_checkpoint) 是否可用？

Open shell-nlp opened this issue 2 years ago • 1 comments

作者是否尝试过 代码中的 trainer.train(resume_from_checkpoint=resume_from_checkpoint) 是否可以正常使用， image

我使用的时候报错，huggingface 现在应该不支持resume lora 模型

shell-nlp avatar Jul 14 '23 07:07 shell-nlp

这个还没有用，理论上能加载好模型就支持继续预训练了，你也可以试一下PeftModel.from_pretrained方式来加载lora模型，就是使用推理模型那块。

Macielyoung avatar Jul 14 '23 12:07 Macielyoung