【开源实习】albert模型微调

[outbreak-sen]

实现了"albert/albert-base-v1"模型在"SetFit/20_newsgroups"数据集上的微调实验。 任务链接在https://gitee.com/mindspore/community/issues/IAUONP transformers+pytorch+4060的benchmark是自己编写的，仓库位于https://github.com/outbreak-sen/albert_finetuned 更改代码位于llm/finetune/albert，只包含mindnlp+mindspore的 实验结果如下

Albert的20Newspaper微调

硬件

资源规格：NPU: 1*Ascend-D910B(显存: 64GB), CPU: 24, 内存: 192GB

智算中心：武汉智算中心

镜像：mindspore_2_5_py311_cann8

torch训练硬件资源规格：Nvidia 3090

模型与数据集

模型："albert/albert-base-v1"

数据集："SetFit/20_newsgroups"

训练与评估损失

由于训练的损失过长，只取最后十五个loss展示

mindspore+mindNLP

Epoch	Loss	Eval Loss
2.9	1.5166
2.91	1.3991
2.92	1.4307
2.93	1.3694
2.93	1.3242
2.94	1.4505
2.95	1.4278
2.95	1.3563
2.96	1.4091
2.97	1.5412
2.98	1.2831
2.98	1.4771
2.99	1.3773
3.0	1.2446
3.0		1.5597

Pytorch+transformers

Epoch	Loss	Eval Loss
2.26	1.1111
2.32	1.1717
2.37	1.1374
2.43	1.1496
2.49	1.1221
2.54	1.0484
2.6	1.1230
2.66	1.0793
2.71	1.1685
2.77	1.0825
2.82	1.1835
2.88	1.0519
2.94	1.0824
2.99	1.1310
3.0		1.2418