SALMONN icon indicating copy to clipboard operation
SALMONN copied to clipboard

训练超参设置

Open blue-blue272 opened this issue 1 year ago • 0 comments

您好,有几个训练的问题想请假一下:

第一阶段是32卡,单卡batch size设置为8, lr按照config的设置为3e-5吗? 第二阶段的训练配置(lr, batchsize等)和第一阶段一样吗?是从第一阶段的模型初始化,用不同的数据进行训练吗?

blue-blue272 avatar Jul 10 '24 11:07 blue-blue272