lxylxyoo
lxylxyoo
> attention那行问题提到的代码确认改过了，但是在头实体学习和谓词学习模型部分，加上attention，精度还是略微下降了，没有attention的谓词学习模型部分，精度达到了论文中所说的81%，但是加上attention的只有78.9%，实体学习部分也是降了，重复了几次都是这样。所以，想请问您一下，出现这样的问题有可能是什么原因？ 实体学习部分我的准确率也是在40%左右，请问你现在能达到多少的效果了？是怎么提升的？谢谢
Same question. I have tried using tensor2tensor.utils.adafactor.AdafactorOptimizer with tensorflow 1.15 to train ALBERT model but the loss did not decrease too.