GPT2-Chinese 预训练GPT-Chinese的训练成本

预训练GPT-Chinese的训练成本

Open MrSworder opened this issue 3 years ago • 6 comments

Nov 24 '21 07:11 MrSworder

请问能透露下预训练GPT-Chinese的训练成本吗，用了几张GPU，配置如何，数据集大小，跑了多长时间。我准备自己训练一个预训练模型，但是不知到需要多少张GPU，多久能跑完。

Nov 24 '21 07:11 MrSworder

3090 大概20分钟跑一轮, 数据集20MB

Feb 10 '22 14:02 liangcaihua

3060 30分钟跑一轮。2M

Feb 21 '23 08:02 cywjava

3060 30分钟跑一轮。2M

数据集大小总共只有2M吗？是否太少了，模型能训练的动吗

Feb 22 '23 03:02 Williamgjn

是的，太少了，只是尝试一下训练。并且3060 12Gb显存还只能设置batch_size 到3，再大就OOM

Feb 22 '23 14:02 cywjava

3090 1G数据，句子长度256，batch_size 50, 1个epoch 需要14小时

Feb 22 '23 14:02 RumRaisins