5B model finetune multi gpu, cuda out of memory

[zyssyz123]

System Info / 系統信息

There are 8 A100 graphics cards on one machine

Information / 问题信息

• [ ] The official example scripts / 官方的示例脚本
• [ ] My own modified scripts / 我自己修改的脚本和任务

Reproduction / 复现过程

1

Expected behavior / 期待表现

1

[zRzRzRzRzRzRzR]

8个GPU应该不足以SFT5B模型，我们正在优化。

[loretoparisi]

@zyssyz123 which fine-tune script are you using?

[zRzRzRzRzRzRzR]

现在的脚本应该能流畅的微调，请更新代码重试