CLUEPretrainedModels

CLUEPretrainedModels copied to clipboard

请问能开放基于clue数据的base模型，large太大训不动，tiny又不如bert base。

2

如题。 因为看模型对比里面有BERT-base基于clue_vocab训练的，做了速度对比。 ps: RoBERTa-large-clue词表和配置不一样。vocab大小是8021，config文件大小是21128。

InsaneLife

众所周知，百X云盘对下载速度的限制。以及必须安装客户端。导致办公网络无法下载

Fan9

句子对任务的RoBERTa-tiny-pair的ckpt文件的问题

8

句子对任务的RoBERTa-tiny-pair的ckpt文件里面为什么没有pool层出口处的（312,2）的张量权重呢，就是"cls/seq_relationship"下的“output_weights”和”output_bias“”？，没有这个怎么得到相似与否的概率值呢？难道这个相似度计算是由pool出口的向量用余弦相似度计算的？

drzqb

RoBERTa-tiny-clue 和RoBERTa-tiny-pair的异同

2

请问，这两个超小型模型有什么不同吗，RoBERTa-tiny-pair 支持输出一个句子的向量，然后再通过计算余弦的方式来计算相似度吗，还是只能输入两个句子，通过分类的方式判断二者是否相似，如果是后者的话，易用性和扩展性上是否不及前者的方式，请大佬指教！

chros425

新版transformers中已经没有WarmupLinearSchedule了

1

example中可能需要改为 `from transformers import AdamW, get_linear_schedule_with_warmup` 等

DrDavidS