VisualGLM-6B icon indicating copy to clipboard operation
VisualGLM-6B copied to clipboard

请问利用这个代码,可以训练和微调吗?

Open jiandandan001 opened this issue 2 years ago • 2 comments

感谢分享这个优秀的工作。

请问利用您分享的代码,我们可以做微调、以及训练吗? 是否有相关的教程,谢谢。

另外就是,需要的计算资源以及时间,有没有大致的情况?

谢谢您。

jiandandan001 avatar Jun 02 '23 02:06 jiandandan001

可以,请看readme的微调部分。

Sleepychord avatar Jun 06 '23 03:06 Sleepychord

计算资源以及时间,有没有大致的情况

昨天尝试了一下在autoDL上微调,26张图片(512x),300步,A100大概花了15分钟,lora方法和Qlora方法时差不大,希望可以帮到你,能给到一定的参考

minlo-18 avatar Jun 09 '23 02:06 minlo-18

@minlo-18 这个损失最后能训练到多少停止呢?直接训练300步就确定收敛了吗?我训练了一个模型,用生成来做2分类任务,最后训练得到的损失是total loss 2.990189E-02 | loss 2.990189E-02 | loss scale 32768.0 |speed 454.12 samples/(min*GPU) 感觉这个数值太小了,有些不太正常

Syno8 avatar Aug 31 '23 07:08 Syno8