CasRel-pytorch-reimplement icon indicating copy to clipboard operation
CasRel-pytorch-reimplement copied to clipboard

Published 20 hours ago • verified publisher icon longlongman

请问模型里用到的BERT参与训练了么？

Open liyunhan opened this issue 2 years ago • 0 comments

想请教您两个问题：

  1. 模型中的BERT参与到反向传播了么？还是说只当成Embedding用了呢？
  2. BERT的输入需要在句子头尾加入[cls]和[spe]，如果我在BERT后面接入一个LSTM而不是Linear，那是不是要在BERT的输出中截断这两个位置的向量呢？

liyunhan avatar Mar 10 '22 14:03 liyunhan