BERT-whitening icon indicating copy to clipboard operation
BERT-whitening copied to clipboard

Published 20 hours ago • verified publisher icon bojone

这个白化方法对文本分类这样的任务有效吗

Open zwboss opened this issue 3 years ago • 2 comments

问一下剑神，我的想法是将bert当作向量抽取器，下游做分类任务，用这样的方法优化bert得到的向量对分类任务会有效果吗

zwboss avatar Apr 16 '21 07:04 zwboss

不会，因为白化只是一个线性变换，而这个线性变换可以融合到最后的分类层中，所以加不加数学上都是等价的。

bojone avatar Apr 16 '21 08:04 bojone

感谢大佬解答

zwboss avatar Apr 16 '21 08:04 zwboss