codingma

目前项目暂不支持，你可以在项目外部使用官方文档方法先 merge好weight， 然后再放到本项目里使用。

zero3 就是 模型参数分布式分布， 以卡的维度来分配，而不是机器的维度，你这个属于特殊需求了，应该不支持。

目前不支持，你可以合并导出模型后再使用完整版模型即可。

The direct product is LoRA adaptor. Then You can merge it into base model, like this https://github.com/hiyouga/LLaMA-Factory/tree/main/examples/merge_lora to get a complete model. bless.

未说明使用了什么参数设置来训练，无法判断问题。

额，我还是不知道你是在做什么训练。至少比如你是参考哪个 脚本，作的是预训练，还是SFT，还是什么。