关于llava-v1.5-7b复现

[helloworld01001]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

[kennymckormick]

Hello，应该不需要特定的设置，我们的 transformers 版本是 4.37，可以看看是否一致

[kennymckormick]

Hi, @helloworld01001 , 我注意到，这可能是你未有设置 OPENAI_API_KEY 所致 (我们的设定中，如无法通过规则匹配选项，默认会使用 GPT 进行匹配)，这可能是选择题精度受到广泛影响的原因。

[helloworld01001]

你好！我进行了OPENAI_API_KEY的配置，整体上是比未设置API的结果要高，但是还是不能完全达到排行榜上的结果，虽然已经很接近了。还有一个问题是黄色的那几个VQA的benchmark不知道为什么不能进行OPENAI_API_KEY进行评测，没有下面这些提示，前面那几个benchmaek是有这些提示的。 ChatAPI - INFO - Using API Base: https://api.openai.com/v1/chat/completions; API Key: （我的api） Hello! How can I assist you today? 2024-09-04 05:36:05,869 - RUN - INFO - The evaluation of model llava_v1.5_7b_local x dataset MMBench_DEV_EN has finished! 2024-09-04 05:36:05,869 - RUN - INFO - Evaluation Results: 2024-09-04 05:36:05,870 - RUN - INFO -

[itsqyh]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

[helloworld01001]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

[itsqyh]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

你好，非常不好意思再次打扰你，请问是直接将LLAVA的repo放在/VLMEvalKit目录下吗，我试过还是不行。我在readme里面并没有看到具体应该怎么配置的教程，若您方便的话能解答一下嘛？谢谢！感激不尽！！

[itsqyh]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

[KingMV]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

[itsqyh]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可

[KingMV]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可

谢谢你的回复，我按照你说的方法操作，在调用llava_v1.5_7b 模型时，运行仍然没有反应，不知道怎么回事。是否还需要按照llava项目中的环境包配置环境？

[itsqyh]

你好！我在复现llava-v1.5-7b时的评测结果达不到排行榜上的结果，很多数据集都会差几个百分点，请问llava-v1.5-7b复现还需要设置什么参数吗？我把这个模型下载下来了liuhaotian/llava-v1.5-7b，然后把它替换vlmeval/config.py 中llava-v1.5-7b的模型地址。这是我的脚本 CUDA_VISIBLE_DEVICES=1,2 python /VLMEvalKit/run.py --data MMBench_DEV_EN --model llava_v1.5_7b --verbose

你好，请问你就只修改了vlmeval/config.py 中llava-v1.5-7b中的模型地址吗，我这样操作后run没有任何反应，下完数据集后就结束了，请问你还做了其他什么操作吗

是的，我只修改了模型的地址，llava需要根据要求配置在/VLMEvalKit目录下

感谢你，我已经解决了，只需要把LLAVA repo中的llava文件夹拖入即可

您好，我也碰到相同问题，请问是直接把LLaVa文件拖到VLMEvalKit目录下吗？还需要做其他处理不？

不是LLAVA文件夹，是LLAVA/llava这个llava文件夹拖到 VLMEvalKit目录下即可

谢谢你的回复，我按照你说的方法操作，在调用llava_v1.5_7b 模型时，运行仍然没有反应，不知道怎么回事。是否还需要按照llava项目中的环境包配置环境？

我LLAVA这个父文件夹也要放在同级目录VLMEvalKit下。然后我在run之前是已经配置了一个llava环境了，但我还是在vlmevalkit环境下run的，不知道有没有影响，供你参考

[snowpine-max]

您好，想问一下，您最后复现成功LLaVA_v1.5_7b的性能吗？因为我最近也在实验，并不能完全复现到它的效果，是有什么其他trick吗?

[terry-for-github]

您好，想问一下，您最后复现成功LLaVA_v1.5_7b的性能吗？因为我最近也在实验，并不能完全复现到它的效果，是有什么其他trick吗?

@snowpine-max Check this #523. It may help you reproduce the performence.

[FrankYang-17]

@snowpine-max hi, did you solve it?

[kydxh]

您好，请问各位有没有在llava v1.5 7B上复现TextVQA的结果呀？我复现出来acc仅21.9，不知道是哪里出错了。