Xiang Jin
Results
5
comments of
Xiang Jin
> rompt embedding 请问prompt embedding 的大小需要设置和预训练模型的embedding_dim一样吗？直接拿作者的代码跑，会报错，维度不匹配
您好，请问如果用albert-xxlarge-v2的话，是需要把 prompt 的 embedding dim 也设置和albert一样吗？即1024
好的感谢！  但是您代码中默认使用的好像是128
还有个问题就是：我发现在分别使用用bert-base-cased 和albert-xxlarge-v2时，在RTE任务上的 acc 相差较大，能达到20%。所以我感觉预训练模型的选择很重要，是与预训练时使用的语料有关系吗？那这种效果的好坏岂不是主要取决于预训练模型的“好坏”呢？谢谢！