BLIP icon indicating copy to clipboard operation
BLIP copied to clipboard

Can BLIP generate more words image caption?

Open uestcMeng opened this issue 1 year ago • 7 comments

Hi, I have try BLIP_large model, which finetuned on COCO, but it seems only generate about 10 words length caption, even I set max_length to 40, which is twice as large as the original value. Is there any sulotion to generate more detail caption?

uestcMeng avatar Aug 09 '23 16:08 uestcMeng

嗨,我尝试了BLIP_large模型,它在 COCO 上进行了微调,但它似乎只生成了大约 10 个单词的长度标题,即使我max_length设置为 40,也是原始值的两倍。是否有任何提示可以生成更详细的标题?

我也遇到了一样的问题,只是我没有进行微调,而是直接用它预训练好的模型来做caption任务的,得到的结果并不好(I also encountered the same problem, but I did not finetune, but directly use it pretrained model to do the caption task, the result is not good)

image image

shams2023 avatar Sep 19 '23 07:09 shams2023

I ran into the same problem, fine-tuning the image-caption task on my own data set, not getting sufficient caption length. Have you solved this problem?

fzb408 avatar Apr 25 '24 09:04 fzb408

我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗?

我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗?

There is no solution, I think this is because the text in the original training data coco is already short.

shams2023 avatar Apr 26 '24 01:04 shams2023

I have solved the problem, thank you for your answer.

------------------ 原始邮件 ------------------ 发件人: "salesforce/BLIP" @.>; 发送时间: 2024年4月26日(星期五) 上午9:56 @.>; @.@.>; 主题: Re: [salesforce/BLIP] Can BLIP generate more words image caption? (Issue #175)

我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗?

我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗?

There is no solution, I think this is because the text in the original training data coco is already short.

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

fzb408 avatar Apr 26 '24 01:04 fzb408

我已经解决了问题,谢谢你的回答。 ... ------------------ 原始邮件 ------------------ 发件人: “salesforce/BLIP” @.>; 发送时间: 2024年4月26日(星期五) 上午9:56 @.>; @.@.>; 主题: 回复:[salesforce/BLIP] BLIP 可以生成更多单词图像标题吗?(问题 #175) 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 没有解决方案,我认为这是因为原始训练数据 coco 中的文本已经很短了。 — 直接回复此电子邮件,在 GitHub 上查看或取消订阅。 您收到此消息是因为您发表了评论。消息 ID:@.***>

How did you solve this problem? Can you please reply conveniently? Thank you!

shams2023 avatar Apr 26 '24 02:04 shams2023

I found that there is a parameterr max_words in the dataloader, which caused my own dataset caisption to not be fully loaded.  You also have to set max_length when inferring.

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年4月26日(星期五) 上午10:11 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [salesforce/BLIP] Can BLIP generate more words image caption? (Issue #175)

我已经解决了问题,谢谢你的回答。 ... ------------------ 原始邮件 ------------------ 发件人: “salesforce/BLIP” @.>; 发送时间: 2024年4月26日(星期五) 上午9:56 @.>; @.@.>; 主题: 回复:[salesforce/BLIP] BLIP 可以生成更多单词图像标题吗?(问题 #175) 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 没有解决方案,我认为这是因为原始训练数据 coco 中的文本已经很短了。 — 直接回复此电子邮件,在 GitHub 上查看或取消订阅。 您收到此消息是因为您发表了评论。消息 @.******>

How did you solve this problem? Can you please reply conveniently? Thank you!

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

fzb408 avatar Apr 26 '24 02:04 fzb408

I found that there is a parameterr max_words in the dataloader, which caused my own dataset caisption to not be fully loaded.  You also have to set max_length when inferring. ------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2024年4月26日(星期五) 上午10:11 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [salesforce/BLIP] Can BLIP generate more words image caption? (Issue #175) 我已经解决了问题,谢谢你的回答。 ... ------------------ 原始邮件 ------------------ 发件人: “salesforce/BLIP” @.>; 发送时间: 2024年4月26日(星期五) 上午9:56 @.>; @.@.>; 主题: 回复:[salesforce/BLIP] BLIP 可以生成更多单词图像标题吗?(问题 #175) 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 我遇到了同样的问题,在我自己的数据集上微调图像标题任务,没有获得足够的标题长度。你解决了这个问题吗? 没有解决方案,我认为这是因为原始训练数据 coco 中的文本已经很短了。 — 直接回复此电子邮件,在 GitHub 上查看或取消订阅。 您收到此消息是因为您发表了评论。消息 @.***> How did you solve this problem? Can you please reply conveniently? Thank you! — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

thanks!

shams2023 avatar Apr 26 '24 02:04 shams2023