BERT-whitening-pytorch icon indicating copy to clipboard operation
BERT-whitening-pytorch copied to clipboard

Published 20 hours ago • verified publisher icon autoliuweijie

请问所有列出的实验结果是有监督设置还是无监督设置？

Open AQA6666 opened this issue 2 years ago • 1 comments

即是否使用训练集对BERT进行了训练？

AQA6666 avatar Oct 09 '21 12:10 AQA6666

是无监督配置，但是使用训练集中的样本（没使用label）计算whitening中的w和bias。

autoliuweijie avatar Oct 09 '21 16:10 autoliuweijie