RoFormer_pytorch icon indicating copy to clipboard operation
RoFormer_pytorch copied to clipboard

Published 20 hours ago • verified publisher icon JunnYu

tf转torch model时要过滤掉pooler层

Open sxthunder opened this issue 4 years ago • 2 comments

试了一下将苏神有监督训练的roformer从tf转到torch，苏神参数里面有pooler层，转的时候要过滤掉。

sxthunder avatar Jul 28 '21 06:07 sxthunder

@sxthunder https://github.com/JunnYu/RoFormer_pytorch/issues/11 本仓库的代码添加了pooler层，可以参照这个issues进行转换权重

JunnYu avatar Jul 28 '21 06:07 JunnYu

感觉也没必要在模型里面加上pooler，这个只不过是苏神在做那个sim实验的时候加了个pooler的向量化策略，在转换文件里面加个条件过滤更方便

sxthunder avatar Jul 28 '21 06:07 sxthunder