CLUEPretrainedModels icon indicating copy to clipboard operation
CLUEPretrainedModels copied to clipboard

Published 20 hours ago • verified publisher icon CLUEbenchmark

RoBERTa-tiny-clue 和RoBERTa-tiny-pair的异同

Open chros425 opened this issue 4 years ago • 2 comments

请问，这两个超小型模型有什么不同吗，RoBERTa-tiny-pair 支持输出一个句子的向量，然后再通过计算余弦的方式来计算相似度吗，还是只能输入两个句子，通过分类的方式判断二者是否相似，如果是后者的话，易用性和扩展性上是否不及前者的方式，请大佬指教！

chros425 avatar Mar 06 '20 07:03 chros425

RoBERTa-tiny-pair也能和正常的预训练模型一样用的，只是它在句子对任务上效果可以更好一些。

brightmart avatar Mar 06 '20 08:03 brightmart

句子队任务的RoBERTa-tiny-pair的ckpt文件里面为什么没有pool层出口处的（312,2）的张量权重呢？

drzqb avatar Mar 09 '20 11:03 drzqb