Qwen-VL
Qwen-VL copied to clipboard
QwenLM
请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大
尝试在5000条左右的_refcoco_的test数据集上进行微调，发现效果不大，precision只提高了1个百分点，不知道是为什么？ 除了在Image Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
@danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？
对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。
@danjuan-77
@danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？
对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。
你好，感谢回复，请问怎么把自己的数据构造成qwenvl的格式呢？
@danjuan-77
@danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？
对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。
你好，感谢回复，请问怎么把自己的数据构造成qwenvl的格式呢？
在README文件中finetune部分有介绍到具体的对话数据集构建模板，构造成对应的json文件就行🌟
尝试在5000条左右的_refcoco_的test数据集上进行微调，发现效果不大，precision只提高了1个百分点，不知道是为什么？ 除了在Image Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
@danjuan-77 @yihp @xs818818 你好，请问大家微调时的服务器配置都咋样呢，大概什么配置可以微调Qwen-vl???
@danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？
对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。
这是换了数据还是主要是把prompt调到一样导致？
@danjuan-77 请问你是和Qwen-VL-Chat对比只提高了一个点吗？
对，是的。但是最近有了一些新的进展。 我采用了一个新的数据集，在进行lora微调后，进行测试，发现性能确实得到显著提升（大约10个点），原因在于可能之前的微调Prompt和测试Prompt没有对齐，将他们对齐后进行测试，性能的确是提升了。
你好，请问具体怎么对齐呢？我在自己的数据集微调效果提升也不明显
尝试在5000条左右的_refcoco_的test数据集上进行微调，发现效果不大，precision只提高了1个百分点，不知道是为什么？ 除了在Image Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
@danjuan-77 @yihp @xs818818 你好，请问大家微调时的服务器配置都咋样呢，大概什么配置可以微调Qwen-vl???
我用的是64G*4
age Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
您好！您的微调图文的时候有没有遇到loss先降低再升高的，而且大于1的？
具体的报错信息是？
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
我是按照他的requirement 配置的
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
我是按照他的requirement 配置的 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
想问下您的deepspeed和peft的安装命令是什么呀？
看起来是torch版本问题？deepspeed我的是0.11版本。
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>
pip指令或者git clone 后直接.install
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:17 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
我是按照他的requirement 配置的 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
想问下您的deepspeed和peft的安装命令是什么呀？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>
我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
单卡finetune没有这个问题
我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
您好～我按照requirement重新配了环境，pytorch也通过conda装了2.3.0，在跑单卡的finetune时报错，
我的机器是32g的v100，如果您有空的话，可以帮忙看一下吗？非常感谢（搞了一天也没成功跑起来 555） 另外，方便参考一下您的finetune脚本和finetune.py文件吗？
检查下本地cuda和torch 的cuda对应上没有，torch 的cuda最好小于等于本地的cuda。 我的finetune是原本的代码，没有任何更改。
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 20:13 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
您好～我按照requirement重新配了环境，pytorch也通过conda装了2.3.0，在跑单卡的finetune时报错， image.png (view on web) 我的机器是32g的v100，如果您有空的话，可以帮忙看一下吗？非常感谢（搞了一天也没成功跑起来 555） 另外，方便参考一下您的finetune脚本和finetune.py文件吗？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
检查下本地cuda和torch 的cuda对应上没有，torch 的cuda最好小于等于本地的cuda。 我的finetune是原本的代码，没有任何更改。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 20:13 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 您好～我按照requirement重新配了环境，pytorch也通过conda装了2.3.0，在跑单卡的finetune时报错， image.png (view on web) 我的机器是32g的v100，如果您有空的话，可以帮忙看一下吗？非常感谢（搞了一天也没成功跑起来 555） 另外，方便参考一下您的finetune脚本和finetune.py文件吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>
大佬，可以问下怎么使用自己finetune生成的模型进行推理的脚本吗？
不客气～欢迎继续交流(v:18819893186)
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月8日 11:13 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
好的好的，已经可以跑通单卡finetune啦，非常感谢～
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
Model导入适配层adapter即可，参考官网或者swift库
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月8日 11:14 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
检查下本地cuda和torch 的cuda对应上没有，torch 的cuda最好小于等于本地的cuda。 我的finetune是原本的代码，没有任何更改。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 20:13 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 我的torch=2.3.0 不带cu版本。请问您单gpu 会出现这个问题吗？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:30 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 看起来是torch版本问题？deepspeed我的是0.11版本。 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月7日 11:16 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 具体的报错信息是？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: Qinger27 @.> 发送时间: 2024年5月6日 19:52 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300) 你好，可以问下finetune的环境配置吗？我想在自己的数据集上做微调，但是一直报错，我的机器是 V100（32G），期待您的回复！ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 可以帮忙看一下吗？我也是按照requirements配置的，但是不知道是不是deepspeed和peft安装的不对，导致多卡finetune一直没跑通，所以想请教一下，谢谢啦～期待回复 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> image.png (view on web) 这个是我装的torch，请问您的torch是什么版本的呀？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> 您好～我按照requirement重新配了环境，pytorch也通过conda装了2.3.0，在跑单卡的finetune时报错， image.png (view on web) 我的机器是32g的v100，如果您有空的话，可以帮忙看一下吗？非常感谢（搞了一天也没成功跑起来 555） 另外，方便参考一下您的finetune脚本和finetune.py文件吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>
大佬，可以问下怎么使用自己finetune生成的模型进行推理的脚本吗？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>
age Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
您好！您的微调图文的时候有没有遇到loss先降低再升高的，而且大于1的？
您好，您知道是为什么吗？有解决吗？
我是增加了轮次，然后那个效果好不好取决于任务难度。
发自我的iPhone
------------------ 原始邮件 ------------------ 发件人: xiayq1 @.> 发送时间: 2024年5月19日 16:15 收件人: QwenLM/Qwen-VL @.> 抄送: wcy_scnu_nlp @.>, Comment @.> 主题: Re: [QwenLM/Qwen-VL] 请问对Qwen-VL-Chat微调所需要的”图文对“数据量大概需要多少？目前进行lora微调效果不大 (Issue #300)
age Grounding任务上进行微调，还在Image Caption任务上进行微调，性能提升都不大，不知道有什么建议？？？😭 使用的脚本也是官方提供的微调脚本以及遵循输入格式的要求。
您好！您的微调图文的时候有没有遇到loss先降低再升高的，而且大于1的？
您好，您知道是为什么吗？有解决吗？
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>