请问两张32g v100运行 finetune.sh 报错OOM怎么办？

[Qinger27]

你好！谢谢你们开源了这么棒的项目！ 我在2张32g的v100卡上使用finetune.sh脚本基于自己的数据集训练时报错，而且貌似第二张卡没有用起来： 训练配置如下： 可以帮忙看一下吗？非常感谢🙏

[thonglv21]

--max_length 2048 or 1024 or 512

[yuzeng0-0]

lora

[yuhangzang]

You can reduce the value of max_length of using a small value of lora_r/lora_alpha with lora fine-tuning.