basic_language_model_nezha_gen_gpt.py

[chongzicbo]

这个模块中输入的pytorch_model.bin文件是使用convert_nezha_gpt_dialog.py这个脚本对苏神提供的tf版的chinese_nezha_gpt_L-12_H-768_A-12模型进行转换而来的吗？

[Tongjilibo]

不是的，convert_nezha_gpt_dialog.py转的权重是nezha_gpt_dialog这个项目finetune后的权重(不是预训练模型)。basic_language_model_nezha_gen_gpt.py是用的nezha_gpt，我应该是用的transformers-cli convert来转的(你可以试一下，注意transformers的版本)，nezha_gpt其实是bert结构的gpt模型(带lm的mask)，所以model并未传入model='nezha'

[chongzicbo]

好的，谢谢大佬，我试试