Qwen <help> 请问大家有qwen72B 全参数微调完成的吗？

<help> 请问大家有qwen72B 全参数微调完成的吗？

Open txy6666yr opened this issue 1 year ago • 4 comments

我使用LLaMA-Factory 项目全参数微调 loss 异常，没有使用官方的代码微调，请问大家有微调成功的吗？ training_loss

Dec 20 '23 06:12 txy6666yr

请问下你全参数微调的服务器配置是什么情况呢？

Dec 20 '23 08:12 xx-Jiangwen

请问下你全参数微调的服务器配置是什么情况呢？

8机8卡都是A100 80G deepspeed zero 3

Dec 21 '23 01:12 txy6666yr

用官方代码全参微调成功了

Dec 25 '23 06:12 LMXKO

用官方代码全参微调成功了

请问是使用多机多卡微调的吗？

Dec 25 '23 07:12 txy6666yr