MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard

Published 20 hours ago • verified publisher icon OpenBMB

zero3支持

Open qyc-98 opened this issue 1 year ago • 1 comments

修改了huggingface上我们模型的resampler和minicpmv模型文件，这个pr需要和huggingface的pr一起提交，主要解决了目前zero3需要强制聚拢参数的问题，以及主模型运行时某些变量没有及时被deepspeed发送到对应的显卡上导致minicpmv2不能使用zero3算法微调

qyc-98 avatar Jun 17 '24 03:06 qyc-98