SSAN icon indicating copy to clipboard operation
SSAN copied to clipboard

关于两种Transformation:Biaffine和Decomposed Linear的疑惑点

Open scoutys opened this issue 3 years ago • 5 comments

想请问作者,设计这两种方案的初衷是什么呢?这两种方案是否适用于不同的场景?如果是的话,能否简单介绍下呢?

scoutys avatar Oct 10 '21 09:10 scoutys

这个工作的动机是,针对文档级复杂文本这一场景,我们希望能够引入实体分布的结构这一先验,来帮助模型更好地理解实体及其之间的关系。 从这个角度来看,SSAN是相对通用的思想,对于带有结构化先验的内容的理解应该都会有一定的帮助。

BenfengXu avatar Oct 11 '21 04:10 BenfengXu

感谢你的回答,我还有一个问题想请教一下,Biaffine和Decomposed Linear这两种转换模型具体有何区别?

scoutys avatar Oct 11 '21 07:10 scoutys

感谢你的回答,我还有一个问题想请教一下,Biaffine和Decomposed Linear这两种转换模型具体有何区别?

动机和基本的设计思想是一致的,只是具体的网络结构不同,分别采用了Biaffine变换和分解线性变换来具体实现对dependency的建模,二者最终的目的是一致的,也都以同样的方式融入Tranformer的Self Attention基本Block 中。

BenfengXu avatar Oct 11 '21 08:10 BenfengXu

Can you show me where the code of the transformation module is located?? (Biaffine Transformation, Decomposed Linear Transformation)

zozni avatar Apr 29 '22 07:04 zozni

Can you show me where the code of the transformation module is located?? (Biaffine Transformation, Decomposed Linear Transformation) please refer to https://github.com/BenfengXu/SSAN/blob/main/model/modeling_bert.py#L267-L280 as the README indicated.

BenfengXu avatar Apr 29 '22 07:04 BenfengXu