ABSA-PyTorch icon indicating copy to clipboard operation
ABSA-PyTorch copied to clipboard

Published 20 hours ago • verified publisher icon songyouwei

关于bert 与 albert

Open 01070 opened this issue 4 years ago • 3 comments

您好，我将您的模型从Bert改为Albert，利用transformer将BertTokenization与BertModel改为ALbertTokenization与AlbertModel，并运行了bert_spc与lcf_bert，但精度一直在45上下波动，Loss也一直高于1。起初怀疑是albert 将NSP改为SOP后 bert-spc 可能不再适应，于是运行了没有bert_spc的aen模型，但仍没有解决问题，所以想请教一下您可能是什么原因造成的，谢谢！

01070 avatar Apr 09 '20 07:04 01070

目前这个repo用的是pytorch-transformers==1.2.0，不是最新的transformers那个版本，那个好像之前是发现会有你这个问题的。你试试卸载了，安装1.2.0这个版本

songyouwei avatar Apr 09 '20 08:04 songyouwei

好的，谢谢您

01070 avatar Apr 09 '20 09:04 01070

Hello, I encountered the same problem, did you solve it? If it is resolved, please tell me the solution. Thank you

NICE-ZWJ avatar Dec 24 '20 09:12 NICE-ZWJ