swift
swift copied to clipboard
deepspeed不支持断点续训?
会提示 ValueError: Can't find a valid checkpoint at XXXX
错误。checkpoint的格式不支持deepspeed加载的意思?
库版本:
- swift: 1.7.2
- transformers 4.36.2
- deepspeed 0.12.6
save_only_model 设置为False
文档中对 save_only_model 这个参数的解释是,使用了 deepspeed 就设置成True,那就是只要用了deepspeed就不保存断点续训所需要的状态?