LTP hidden含义

[nanmu52]

LTP中分词结果返回分词列表和hidden两个值,后续的词性标注和语法分析等等操作都基于hidden,请问hidden的具体含义可以在哪里找到呢?

[wn1652400018]

个人猜测，这是一个多任务模型的框架。模型底层使用了一个electra作为backbone。tokenzier将句子转化为子词id，然后经过electra后得到子词的hidden。该hidden经过分词的任务头（如一个全连接的输出层）之后就可以对句子分词了。然后利用分词模型将子词的hidden进行合并（如subword average）然后就得到了token的hidden。所以分词任务得到的hidden就是分好的词语的hidden。后续任务依赖分词的的话（如postag）就直接拿这个hidden输入到postag的任务头中做分类任务即可。

[AlongWY]

@wn1652400018 说的没错