PromptCLUE fine-tune out of memory

fine-tune out of memory

Open jiangix-paper opened this issue 2 years ago • 3 comments

请问使用这个参数fine-tune，显存占用大概多少？我这边16G的v100显示out of memory

请问如果单卡fine-tune显存不够用，有多卡的fine-tune代码吗

Feb 13 '23 02:02 jiangix-paper

可以调整batch size和max len等参数使用

Feb 14 '23 01:02 joytianya

batch size 调成4 占用不到11G显存可以完成训练 , 就是训练完成使用没有示例的效果就不知道怎么调整了

Jun 06 '23 03:06 yzhzx

可以调小学习率，训练开始，训练一段测试一下，比如训练100步，如果有问题，训练10步看看，看看是不是训练中的问题还是推理的问题

Jun 07 '23 02:06 joytianya