SMHSA
SMHSA copied to clipboard
chenshaowei57
代码与文章问题
很有意思的工作，但仔细阅读了实现的代码，有几个地方感觉没能理解，希望能获得解答。 1、在relationAttention.py里，计算attention时，使用的是softmax而不是sigmoid，这样获得的attention矩阵个人理解是无法完全拟合all_relations的，请问这里使用softmax是有什么原因么？ 2、在entityRelation.py里，计算relation_loss时，为什么没有考虑all_input_mask，不考虑遮罩似乎在许多本来应该没有损失的地方多算了许多损失，请问这里是代码的失误么？ 3、在文章3.5 Inference中判定两个实体间是否存在关系时，对头尾实体的token都进行了求和，可是为什么最后求delta时，只除了头实体的大小？
对于第一个问题，我们也尝试过sigmoid，但是效果不是很好，我们认为这可能是因为关系矩阵里1过于稀疏。考虑到文本中某个实体在特定的关系类别下仅会与少量的词存在关联关系，因此我们采用softmax来对于预测的稀疏性进行某种程度的约束。 对于第二个问题，我们确实没有在计算损失的时候利用all_input_mask，但是我们在计算语义的过程中将mask的词的语义置为0，因此对于性能没有明显影响。 对于第三个问题，这是我们采用的一种策略，主要为了保证计算的概率属于0-1区间，进而更合理地设置阈值。
我明天再理解一下，谢谢热心解答！ ------------------ 原始邮件 ------------------ 发件人: "chenshaowei57"<[email protected]> 发送时间: 2020年10月14日(星期三) 晚上11:35 收件人: "chenshaowei57/SMHSA"<[email protected]>; 抄送: "zlh"<[email protected]>;"Comment"<[email protected]>; 主题: Re: [chenshaowei57/SMHSA] 代码与文章问题 (#5)
对于第一个问题，我们也尝试过sigmoid，但是效果不是很好，我们认为这可能是因为关系矩阵里1过于稀疏。考虑到文本中某个实体在特定的关系类别下仅会与少量的词存在关联关系，因此我们采用softmax来对于预测的稀疏性进行某种程度的约束。 对于第二个问题，我们确实没有在计算损失的时候利用all_input_mask，但是我们在计算语义的过程中将mask的词的语义置为0，因此对于性能没有明显影响。 对于第三个问题，这是我们采用的一种策略，主要为了保证计算的概率属于0-1区间，进而更合理地设置阈值。
您好， 关于问题1，程序在数据生成部分的"all_relations"张量里，是按照sigmoid的标准来生成target的，比如说“（中国，首都，北京）”这个三元组对应的"all_relations"张量里面“（中，北），（中，京），（国，北），（国，京）”这四个元素全部设置成为了1。 很明显模型用softmax函数不能拟合这个矩阵的，请问您是怎么看待这个问题的？