zhanghang-official

 补充下，[from models.videochat2_it import VideoChat2_it](https://github.com/OpenGVLab/Ask-Anything/blob/7d14a0cee289a25db0ec7039464333863b0ee97c/video_chat2/tasks/train_pt.py#L12)

 我这边查看了代码，你们训练确实使用的是v2版本的flash_attn，麻烦确认下具体是哪个版本的flash_attn

哈哈哈，我也发现了，他们代码库里都是assert

``` """ Adapted from: https://github.com/Vision-CAIR/MiniGPT-4/blob/main/demo.py """ import argparse import os from video_llama.common.config import Config from video_llama.common.registry import registry from video_llama.conversation.conversation_video import Chat, default_conversation, conv_llava_llama_2 import decord decord.bridge.set_bridge('torch') from video_llama.datasets.builders import...

训练机器是8卡A10040G

vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？

> > vllm分支中，vllm_test.py使用的vllm版本是什么呢，是v0.5.0吗，requirements.txt里没有说明。 vllm分支中的vllm文件夹通过对比应该是与 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 一致，是对官方v0.2.4版本的修改用于支持prompt_embeds输入。 所以vllm_test.py中的vllm用的是 https://github.com/pfldy2850/vllm/tree/feature-input-embeds 的库吗？ > > 我们的实现是基于官方v0.2.4的版本，并在部分地方进行了修改。请根据我们仓库vllm分支的vllm文件夹，从源码编译vllm库。 感谢回复，后续有计划在v0.5新版本上修改吗

用llamafactory吧，测试多模态dpo没有问题 张志鸿(zhang zhihong) ***@***.***> 于2025年7月1日周二 16:21写道： > *zhang123434* left a comment (LLaVA-VL/LLaVA-NeXT#333) > > > CUDA out of memory +1 > > — > Reply to this email directly, view...

麻烦看下是什么问题，感谢！！