About llava-video dataset
想请教一下,当前微调 ov-si得到llava-video-7b的数据集,所用的 llava-onevision (1.1M)是哪些呀?好像官方没有一个指示。。
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;
大佬,请教一下这些文件json也没法对应相关数据集好像,可以提示一下吗😅,我其实看到这个了,但是都是json文件还都是mnt的,莫非背后会自己转换成llava-video和llava-onevision对应目录吗🤔
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;
不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~
还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调
你好,如果你现在已经有one-vision的数据集了,只需要把 https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/train/onevision.yaml
把最后3个替换成llava-video中的数据集。
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;
不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~
还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调
请问有解决吗?同样的疑问
https://github.com/LLaVA-VL/LLaVA-NeXT/blob/main/scripts/video/train/exp.yaml;
不知道能不能给一个具体的对应文件orz,我一个个对应过去有点image在onevision.yaml用了,有些在single_image.yaml用了,不知道有没有一个比较方便的对应方式找到1.1M使用的onevision数据集的图文~ 还有是不是有些没开源?所以目前来说是不能复现出llava-video的,就是从ov-si到llava-video....只能用自己数据微调
请问有解决吗?同样的疑问
Please refer to : https://github.com/LLaVA-VL/LLaVA-NeXT/edit/main/docs/LLaVA_Video_1003.md#data-preparation