BERT-whitening-pytorch

BERT-whitening-pytorch copied to clipboard

在线推理的时候，怎么计算 变换矩阵和偏置项

2

在线推理的时候，只有待排序的几个样本，如何计算变化矩阵和偏项

kennyLSN

使用avg pooling生成句子嵌入时，是否应该加入attention mask做平均

1

if pooling == 'first_last_avg': output_hidden_state = (hidden_states[-1] + hidden_states[1]).mean(dim=1) if pooling == 'first_last_avg': hidden = (hidden_states[-1] + hidden_states[1]) / 2 output_hidden_state = (hidden * att_mask.unsqueeze(-1)).sum(1) / att_mask.sum(-1).unsqueeze(-1)

zchuz

Chucy2020

因为STS数据集的相似度的得分是回归任务，句子对的关系是分类任务，如何从两个句子向量中得到他们的关系呢，对立，包含，或者无关

liuleiBUAA

在sent_to_vec中你使用torch.no_grad的方式来计算输出向量，为什么不加上model.eval()的方式计算？如果模型中有dropout或者normalize的话两种方式计算出来的向量是不一样的。

chanyikchong

您能给我一个联系方式吗？ 有问题要请教您，我的微信和手机号码都是 18674803967

dx-medicarecoin

应用在文本匹配上效果会好嘛？

1

类似文本匹配三分类问题，相似、部分相似、不相似这样的。

yysirs

请问所有列出的实验结果是有监督设置还是无监督设置？

1

即是否使用训练集对BERT进行了训练？

AQA6666

运行train_whiten(nli).py出现内存错误

1

你好，我想用roberta训练均值，但出现了内存错误： Traceback (most recent call last): File "train_whiten(nli).py", line 79, in main() File "train_whiten(nli).py", line 63, in main a_vecs_train = sents_to_vecs(a_sents_train, tokenizer, model, POOLING, MAX_LENGTH) File "/data/yuany/BERT-whitening-pytorch/all_utils.py", line 65, in...

Anery

Hi, I obtained two different transformation matrix W on different machines, one is on my own desktop (Intel(R) Core(TM) i5-10210U CPU @ 1.60GHz 2.11 GHz), one is on the server...

KarenMars