xiayq1

> Thank you. Downloading zip file solved this problem What is the zip file? I have met the same question.

Is there anybody who have solved the problem?

已经解决了这个问题： 原因是下载不了这个clip模型。手动下载下clip。在build_mlp.py里面改下： def build_vision_tower(): # vision_tower = 'openai/clip-vit-large-patch14-336' vision_tower = '/InternLM-XComposer-main/internlm/clip-vit-large-patch14-336' return CLIPVisionTower(vision_tower)

> > 已经解决了这个问题： 原因是下载不了这个clip模型。手动下载下clip。在build_mlp.py里面改下： > > def build_vision_tower(): # vision_tower = 'openai/clip-vit-large-patch14-336' vision_tower = '/InternLM-XComposer-main/internlm/clip-vit-large-patch14-336' return CLIPVisionTower(vision_tower) > > 请问一下您这里的`'/InternLM-XComposer-main/internlm/clip-vit-large-patch14-336'`对应的是本地文件里的哪一个呀？我没有找到。我用的是internlm-xcomposer2-vl-7b 要自己去下载这个模型的。文件就是：build_mlp.py。推荐你debug下。

> > age Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 > > 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。 > > 您好！您的微调图文的时候有没有遇到loss先降低再升高的，而且大于1的？ 您好，您知道是为什么吗？有解决吗？

First, thanks for sharing your Whisper finetuning code—it's been really helpful! While reviewing the implementation, I noticed a minor bug related to label processing. Here's what I found: I check...

I find in this repo: https://huggingface.co/blog/fine-tune-whisper. It also using the ` if (labels[:, 0] == self.decoder_start_token_id).all().cpu().item(): labels = labels[:, 1:] `