csqa

csqa copied to clipboard

Hello, I want to reproduce your code. would you please provide versions which you used in this code. python, pytorch, huggingface transformer,, etc. It would be very helpful when you...

kibeomkim7565

您好，我看到您在csqa-leaderboard上的卓越的成效，叹服之余前来学习，在看到AttentionMerge的时候遇到了一点疑惑 其中在forward时，经过“**attention_probs = keys @ self.query_ / math.sqrt(self.attention_size * query_var)**”运算后，得到的attention_probs其shape为（B, L, 1），按我自己的理解是得到了该layer的query在输入序列上的attention分布 接下来的一步“**attention_probs = F.softmax(attention_probs * mask, dim=1)**”则正是我不解的地方： 1. 如果参照不输入mask参数，即**mask = torch.zeros_like(values)**，那么（**attention_probs * mask**）所得的则也为zeros，attention_probs的计算与输出无关了 2. 如果输入了mask参数，即**mask = (1 - mask.unsqueeze(-1).type(torch.float))...

zhangjf-nlp

可以留下您邮箱吗?

1

Kerry-zzx