pytorch_bert_multi_classification icon indicating copy to clipboard operation
pytorch_bert_multi_classification copied to clipboard

Published 20 hours ago • verified publisher icon taishan1994

关于使用其他预训练模型

Open LLLiHaotian opened this issue 2 years ago • 1 comments

请问，在用bert-base-case、chinese-bert-wwm-ext、chinese-roberta-wwm-ext、chinese-roberta-wwm-ext-large这几个预训练模型跑多标签分类实验的时候都没问题，为什么使用roberta-xlarge-wwm-chinese-cluecorpussmall这个预训练模型跑多标签分类实验，在训练过程中一直 accuracy：0.0000 micro_f1：0.0000 macro_f1：0.0000

为什么会出现这种现象？求解答

LLLiHaotian avatar Nov 15 '23 07:11 LLLiHaotian

roberta-xlarge-wwm-chinese-cluecorpussmal 可能要修改transformers加载该模型的方式

taishan1994 avatar Nov 21 '23 10:11 taishan1994