LLaMA-Factory icon indicating copy to clipboard operation
LLaMA-Factory copied to clipboard

关于LoRA微调导出模型以及加载模型继续训练的疑问

Open HaohzW opened this issue 3 months ago • 3 comments

Reminder

  • [x] I have read the README and searched the existing issues.

Reproduction

我使用LoRA微调了ChatGLM3模型。微调后直接使用web界面中的export功能导出(也就是合并)模型。我有几点疑问:

  1. 在Web界面导出时,合并的是所提供适配器路径下的哪一个checkpoints,是最后一个吗?
  2. 如果我希望指定checkpoints来合并,是不是必须通过命令行来实现?也就是指定参数 --adapter_name_or_path path_to_checkpoint 到相应的checkpoint
  3. 我想从某个指定的checkpoint开始继续训练,如果使用web界面,似乎无法指定checkpoint。它是从最后一个checkpoint开始训练的吗?如果想实现这一功能,是不是必须通过命令行实现?也就是指定 --adapter_name_or_path 到相应的checkpoint

Expected behavior

No response

System Info

No response

Others

No response

HaohzW avatar Mar 11 '24 13:03 HaohzW