yangxinmax

自定义全局池化中的mask

1

苏神： 您好！ 在学习这个代码时，最后对bert的对应的输出做自定义全局池化时，看到是有一个mask输入，不是太清楚这个mask是什么？这个mask是bert源码中input_mask吗【即‘1 for real tokens and 0 for padding tokens’】？ 感谢。

您好，我在尝试将estimator中predict换成输出计算的相似度，但是训练后，loss一直不下降，维持在3.3这种位置。这个思路是不可行吗 另外model.py文件中你也没有用到学习率了。