SSAN
SSAN copied to clipboard
关于两种Transformation:Biaffine和Decomposed Linear的疑惑点
想请问作者,设计这两种方案的初衷是什么呢?这两种方案是否适用于不同的场景?如果是的话,能否简单介绍下呢?
这个工作的动机是,针对文档级复杂文本这一场景,我们希望能够引入实体分布的结构这一先验,来帮助模型更好地理解实体及其之间的关系。 从这个角度来看,SSAN是相对通用的思想,对于带有结构化先验的内容的理解应该都会有一定的帮助。
感谢你的回答,我还有一个问题想请教一下,Biaffine和Decomposed Linear这两种转换模型具体有何区别?
感谢你的回答,我还有一个问题想请教一下,Biaffine和Decomposed Linear这两种转换模型具体有何区别?
动机和基本的设计思想是一致的,只是具体的网络结构不同,分别采用了Biaffine变换和分解线性变换来具体实现对dependency的建模,二者最终的目的是一致的,也都以同样的方式融入Tranformer的Self Attention基本Block 中。
Can you show me where the code of the transformation module is located?? (Biaffine Transformation, Decomposed Linear Transformation)
Can you show me where the code of the transformation module is located?? (Biaffine Transformation, Decomposed Linear Transformation) please refer to https://github.com/BenfengXu/SSAN/blob/main/model/modeling_bert.py#L267-L280 as the README indicated.