VisualGLM-6B 有训练代码吗？

有训练代码吗？

Open vanpersie32 opened this issue 1 year ago • 5 comments

这块有训练代码吗？从头开始训练的版本，而不是finetune版本

May 21 '23 09:05 vanpersie32

应该是可以参考https://github.com/Vision-CAIR/MiniGPT-4魔改的

May 23 '23 09:05 freelancerllm

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

May 25 '23 04:05 Sleepychord

现在的训练脚本，即使用lora依然对显存要求很高，大约30G。单卡10G能微调吗？或者多卡训练也行

May 30 '23 07:05 dizhenx

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

您好，您能细说吗，谢谢您，不胜感激

Jun 05 '23 03:06 unmaned-air

您好， @vanpersie32 model文件夹里就是预训练时候用的模型部分代码，finetune和pretrain基本一致，主要是数据加载的时候和使用的训练策略的区别。

您好，完成这个训练过程需要啥规模的算力呢十几张A100够吗

Jun 05 '23 03:06 unmaned-air