代码和实现问题以及paper的问题

[dongxiaohuang]

在modeling.py中

1. 重复定义 transformer_model_kw，定义了两次
2. 函数 transformer_model_kw，和 transformer_model几乎一样，为何不加个参数直接复用，而是写成两个函数
3. fusion_rep 的实现和paper里面讲的不一样，我认为paper讲的是，[rep_CLS, rep_a, rep_b, rep_a-rep_b, rep_b-rep_a]而在代码实现中是，将[rep_CLS, dense([rep_a, rep_b)] 这个很confusing呀
4. no ablation studies ？我想知道的是不同的fusion ways 的效果对比

[DataTerminatorX]

感谢指正，因为是实验代码，有些不完美

1. 确实重复了，删掉即可
2. 完全可以
3. fusion_rep 我们尝试了很多方法，代码中被comment掉的部分即是我们做的对比实验（比如不同rep方法、是否加dense layer），你可以按到论文描述的，来修改我的代码，很easy
4. 同上。 展开一下，我公众号文章里有提到把 keyword attention layer 加在不同位置，也可以修改我的 transformer_model_kw 来实现

[a396198172]

感谢指正，因为是实验代码，有些不完美

1. 确实重复了，删掉即可
2. 完全可以
3. fusion_rep 我们尝试了很多方法，代码中被comment掉的部分即是我们做的对比实验（比如不同rep方法、是否加dense layer），你可以按到论文描述的，来修改我的代码，很easy
4. 同上。 展开一下，我公众号文章里有提到把 keyword attention layer 加在不同位置，也可以修改我的 transformer_model_kw 来实现

请问目前为止，实验效果还是加入rep_a-rep_b, rep_b-rep_a的效果最好吗？和paper中的观点一致？