bigwavelet

hi 请问你复现实验结果是在什么样的机器上fine-tune的模型呀，这里的fine-tune实际上是bert的pre-train对吧？对机器gpu要求有多高， 谢谢

> > hi请问你复现实验结果是在某种类型的机器上fine-tune的模型呀，这里的fine-tune实际上是bert的pre-train对吧？对机器gpu要求有多高，谢谢 > > 实验复现是bert基础上fine-tune和pre-training，bert的GPU要求12G pre-train steps learning_rate设置的多少呢， 跑了多长时间呀

> > > > hi请问你复现实验结果是在某种类型的机器上fine-tune的模型呀，这里的fine-tune实际上是bert的pre-train对吧？对机器gpu要求有多高，谢谢 > > > > > > > > > 实验复现是bert基础上微调和预训练，bert的GPU要求12G > > > > > > 训练前的步骤learning_rate设置的多少呢，跑了多长时间呀 > > train_batch_size=32 --max_seq_length=128 --max_predictions_per_seq=20 --num_train_steps=10000 --num_warmup_steps=2000 --learning_rate=2e-5...

> > > > > > hi请问你复现实验结果是在某种类型的机器上fine-tune的模型呀，这里的fine-tune实际上是bert的pre-train对吧？对机器gpu要求有多高，谢谢 > > > > > > > > > > > > > > > 实验复现是bert基础上微调和预训练，bert的GPU要求12G > > > > > > >...