有什么缩小模型的方式吗？在使用T5训练的时候，想降低模型的大小

[HJT9328]

修改了config.json中的torch.dtype float32->float16 不生效，然后尝试在train.py中设置fp16:True 在查看checkpoint的时候发现模型也没有明显的大小变化，有什么好的方案来压缩模型大小吗？

[shibing624]

模型蒸馏

[stale[bot]]

This issue has been automatically marked as stale because it has not had recent activity. It will be closed if no further activity occurs. Thank you for your contributions.(由于长期不活动，机器人自动关闭此问题，如果需要欢迎提问)