zyz
Results
4
comments of
zyz
应该是不行的，transformer的bert模型 是没有基于sin/cos的相对位置编码的设定
https://blog.csdn.net/weixin_45839693/article/details/112910652?spm=1001.2014.3001.5501 我用TF做过简单的魔改，你在pytorch上可以试试，其实和bert区别在于在embedding准备阶段不加入position_embedding 而在attention时加入q v的基于sin/cos的相对位置编码
我理解model = build_transformer_model(config_path, checkpoint_path)的model.output中包含了output_embedding 和 mask