SSAN icon indicating copy to clipboard operation
SSAN copied to clipboard

Published 20 hours ago • verified publisher icon BenfengXu

模型结构和加载预训练模型时候不太懂

Open WHW-S opened this issue 3 years ago • 2 comments

WHW-S avatar Feb 04 '22 08:02 WHW-S

你好，模型编码层中是根据sij选的不同的参数，做q*k的时候加的偏置不同吗？还有加载预训练模型的时候是对bert或robert结构相同的对应的部分加载参数了吗，想不到如何加载预训练模型的？还有模型中用的结构的依赖是两个相邻的句子间的实体结构依赖吗？谢谢您的回答！

WHW-S avatar Feb 04 '22 08:02 WHW-S

你好，模型编码层中是根据sij选的不同的参数，做q*k的时候加的偏置不同吗？还有加载预训练模型的时候是对bert或robert结构相同的对应的部分加载参数了吗，想不到如何加载预训练模型的？还有模型中用的结构的依赖是两个相邻的句子间的实体结构依赖吗？谢谢您的回答！

1.是的，根据s_ij来选取对应的网络参数

2.BERT / RoBERTa本来的模型部分是仍然保留的，这部分会自动load，新增的Transformation module没有对应的Pretrained参数，所以是重新初始化的

3.结构的依赖具体（启发式地）引入了几种，可参考论文中关于S, s_ij的描述，既有同一句子内的，也有相邻句子间的，也有共指mention间的

BenfengXu avatar Feb 04 '22 13:02 BenfengXu