mindnlp
mindnlp copied to clipboard
【开源实习】chatglm-4模型微调
【开源实习】chatglm-4模型微调:https://gitee.com/mindspore/community/issues/IB4YYU
基于GPU+Pytorch上的结果对比基于NPU+MindSpore上的结果,由于数据过多,本表格仅节选,详细见files
| Step | Loss of GPU+Pytorch | Loss of NPU+MindSpore |
|---|---|---|
| 10 | 1.253500 | 3.384100 |
| 20 | 0.384100 | 0.277700 |
| 30 | 0.051100 | 0.104400 |
| 40 | 0.04400 | 0.025700 |