LLaVA-NeXT icon indicating copy to clipboard operation
LLaVA-NeXT copied to clipboard

About llava-video dataset

Open jun0wanan opened this issue 1 year ago • 6 comments

想请教一下,当前微调 ov-si得到llava-video-7b的数据集,所用的 llava-onevision (1.1M)是哪些呀?好像官方没有一个指示。。

jun0wanan avatar Dec 13 '24 05:12 jun0wanan

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

ZhangYuanhan-AI avatar Dec 13 '24 05:12 ZhangYuanhan-AI

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

大佬,请教一下这些文件json也没法对应相关数据集好像,可以提示一下吗😅,我其实看到这个了,但是都是json文件还都是mnt的,莫非背后会自己转换成llava-video和llava-onevision对应目录吗🤔

jun0wanan avatar Dec 13 '24 15:12 jun0wanan

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~

还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调

jun0wanan avatar Dec 14 '24 15:12 jun0wanan

你好,如果你现在已经有one-vision的数据集了,只需要把 https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/train/onevision.yaml

把最后3个替换成llava-video中的数据集。

ZhangYuanhan-AI avatar Dec 16 '24 03:12 ZhangYuanhan-AI

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~

还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调

请问有解决吗?同样的疑问

MATTbomerts avatar Feb 24 '25 01:02 MATTbomerts

https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;

不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~ 还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调

请问有解决吗?同样的疑问

Please refer to : https://github.com/LLaVA-VL/LLaVA-NeXT/edit/main/docs/LLaVA_Video_1003.md#data-preparation

ZhangYuanhan-AI avatar Feb 24 '25 12:02 ZhangYuanhan-AI