KGAN icon indicating copy to clipboard operation
KGAN copied to clipboard

Published 20 hours ago • verified publisher icon WHU-ZQH

bert实现的参数问题

Open syydhhd opened this issue 2 years ago • 2 comments

在进行模型的Bert实现的训练过程中，我使用的参数和学习率与默认参数一致，但是训练结果很差，模型对训练集的拟合程度甚至无法达到50%，请问是参数的问题吗，如果是，请问Bert模型的训练参数是怎样设置的呢？

syydhhd avatar May 05 '22 11:05 syydhhd

请问解决了吗

UACurry avatar May 09 '23 08:05 UACurry

之前的代码在is_bert=1时可能存在问题，论文投稿时代码有所更新。更新后的代码和训练超参数会在近两天内发布，请耐心等待:)

WHU-ZQH avatar May 09 '23 09:05 WHU-ZQH