Mengzi-T5-base-MT模型大小

[yuange555]

为什么Mengzi-T5-base-MT的模型大小只有Mengzi-T5-base的一半，加载模型再保存以后，又恢复和base相同的大小

[yuange555]

[huajingyun]

Mengzi-T5-base-MT训练过程使用fp16，保存模型的权重对应也是fp16，不影响直接加载使用。 而Mengzi-T5-base训练过程使用fp32，保存模型的权重对应也是fp32。 可以在config.json中查看参数torch_dtype，可以看到对应是float16或float32。