MiniCPM-V icon indicating copy to clipboard operation
MiniCPM-V copied to clipboard
Published 3 months ago • verified publisher icon OpenBMB

请问MiniCPM V2_6的视频微调如何设置视频的采样帧数

Open mycroft1603 opened this issue 1 year ago • 5 comments

如题，请问是设置这个max_slice_nums参数吗？我看minicpm V2.6在swift中的template中有这个参数，训练过程中也有提示。 截屏2024-10-05 23 45 29 截屏2024-10-05 23 45 44

mycroft1603 avatar Oct 07 '24 10:10 mycroft1603

Same question

spidercatfly avatar Oct 07 '24 11:10 spidercatfly

你好，这个max_slice_nums并非最切分帧数的设置参数，而是图片切割的参数。在微调模型时，需要先将视频进行抽帧处理成多图，再进行训练。推理时保持和之前相似的抽帧逻辑

LDLINGLINGLING avatar Oct 08 '24 02:10 LDLINGLINGLING

你好，这个max_slice_nums并非最切分帧数的设置参数，而是图片切割的参数。在微调模型时，需要先将视频进行抽帧处理成多图，再进行训练。推理时保持和之前相似的抽帧逻辑 我看这个链接中有提到直接使用视频进行微调：https://github.com/modelscope/ms-swift/issues/1613 截屏2024-10-09 15 06 37 我尝试之后也确实是成功的，只是目前不知道如何设置采样的帧数。 所以您的意思是最好还是手动将视频采样为多图进行多图SFT吗？

mycroft1603 avatar Oct 09 '24 07:10 mycroft1603

您好，你这个使用的是swift的框架，这个框架我不太确定有没有将帧采样的频率接口暴露出来

LDLINGLINGLING avatar Oct 09 '24 07:10 LDLINGLINGLING

你好，这个max_slice_nums并非最切分帧数的设置参数，而是图片切割的参数。在微调模型时，需要先将视频进行抽帧处理成多图，再进行训练。推理时保持和之前相似的抽帧逻辑 我看这个链接中有提到直接使用视频进行微调：modelscope/ms-swift#1613

截屏2024-10-09 15 06 37 我尝试之后也确实是成功的，只是目前不知道如何设置采样的帧数。 所以您的意思是最好还是手动将视频采样为多图进行多图SFT吗？

你好，请问下你成功微调了视频吗，我也是在做视频的微调但是用8张24g3090oom了，请问下你用的什么做的训练啊

ransheng11 avatar Dec 21 '24 13:12 ransheng11