求问AutoModelForSequenceClassification类的原理

[Ywandung-Lyou]

在paddlenlp.transformers.auto.modeling 源代码中，通过AutoModelForSequenceClassification.from_pretrained函数可以直接载入预训练模型并分类。那么，对于Transformer预训练模型汇总中的模型，输入分类器的句向量是在哪里定义的（非BERT类模型不一定有[CLS]向量），所用的网络结构都是直接在句向量之后接单层全连接网络吗？

[lugimzzz]

推荐阅读源码帮助理解，比如ERNIE（其他模型也同理） AutoModelForSequenceClassification.from_pretrained('ernie-3.0-medium-zh')则会调用ErnieForSequenceClassification('ernie-3.0-medium-zh')，那么你关注ErnieForSequenceClassification是如何实现。

不是每个模型都支持ForSequenceClassification，具体要看该模型有没有实现对应的ForSequenceClassification模型，大多数情况都是后接全链接层。

[lugimzzz]

问题已解决