LLaVA-NeXT icon indicating copy to clipboard operation
LLaVA-NeXT copied to clipboard

LLaVA-NeXT-Video-34B-DPO 模型无法启动,报错

Open csm12321 opened this issue 1 year ago • 1 comments

用的 LLaVA-NeXT-Video-34B-DPO 这个模型, https://github.com/LLaVA-VL/LLaVA-NeXT git checkout video_inference这个分支的代码,为什么我的测试起不来,报错( 1、stopping_criteria = KeywordsStoppingCriteria(keywords, tokenizer, input_ids) 屏蔽后报 2、 2、llava_arch.LlavaMetaForCausalLM.prepare_inputs_labels_for_multimodal---->concat_images = torch.cat(images_list, dim=0), 输出为None )

有没有把这个模型安排起来的,,,LLaVA-NeXT-Video-34B-DPO用到了clip-vit-large-patch14-336(这个模型), 是不是代码有点问题。

csm12321 avatar May 17 '24 07:05 csm12321

conv_mode 是 mistral_direct

ZhangYuanhan-AI avatar Jun 02 '24 14:06 ZhangYuanhan-AI