请问为什么不使用pooler-out进行分类？

Open lhy2749 opened this issue 3 years ago • 1 comments

请问一下，训练文本分类模型的时候为什么不在build_transformer_model()中加上with_pool使用pooler-output训练分类器，而是直接使用[CLS]对应的向量进行训练？两者的差距很大吗？

Jan 19 '22 06:01 lhy2749

相差不大，CLS是从bert传承下来的，你可以自己试一下，还可以使用最后好多层的结果pooling做分类

Sep 05 '23 07:09 wplf