CLUEPretrainedModels icon indicating copy to clipboard operation
CLUEPretrainedModels copied to clipboard

Published 20 hours ago • verified publisher icon CLUEbenchmark

预训练时的max_Seq_length

Open gsxf997 opened this issue 3 years ago • 1 comments

请问，你们的模型预训练时的数据长度还是256？假如我要继续预训练，我的max_Seq_length需要和您的模型一样，还是可以设置为512？

gsxf997 avatar Jul 21 '20 15:07 gsxf997

继续预训练，你的长度可以设置为512

brightmart avatar Aug 01 '20 08:08 brightmart