VisualGLM-6B
VisualGLM-6B copied to clipboard
请问利用这个代码,可以训练和微调吗?
感谢分享这个优秀的工作。
请问利用您分享的代码,我们可以做微调、以及训练吗? 是否有相关的教程,谢谢。
另外就是,需要的计算资源以及时间,有没有大致的情况?
谢谢您。
可以,请看readme的微调部分。
计算资源以及时间,有没有大致的情况
昨天尝试了一下在autoDL上微调,26张图片(512x),300步,A100大概花了15分钟,lora方法和Qlora方法时差不大,希望可以帮到你,能给到一定的参考
@minlo-18 这个损失最后能训练到多少停止呢?直接训练300步就确定收敛了吗?我训练了一个模型,用生成来做2分类任务,最后训练得到的损失是total loss 2.990189E-02 | loss 2.990189E-02 | loss scale 32768.0 |speed 454.12 samples/(min*GPU) 感觉这个数值太小了,有些不太正常