TSH333

@Pxtri2156 My memory usage will gradually increase during the training process, resulting in CUDA out of memory；have you solved the problem now

@ruinmessi Table 1 in your paper indicates that your result is in Coco Val-2017, but your result is in Coco Test-2017

> 用这个modelscope的代码时 ，用int4版本会出现缺少配置文件的错误 OSError: /home/shf/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b-4bit does not appear to have a file named config.json. Checkout 'https://huggingface.co//home/shf/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b-4bit/None' for available files. 我也遇到了这个问题

> 用这个modelscope的代码时 ，用int4版本会出现缺少配置文件的错误 OSError: /home/shf/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b-4bit does not appear to have a file named config.json. Checkout 'https://huggingface.co//home/shf/.cache/modelscope/hub/Shanghai_AI_Laboratory/internlm-xcomposer2-vl-7b-4bit/None' for available files. @panzhang0212 作者能解答一下吗

> I provided an in-depth guide for usage on Windows. Take a look [here](https://github.com/Alienpups/OpenVoice/blob/main/docs/USAGE_WINDOWS.md).我提供了在Windows上使用的深入指南。看这里 

> Hi @Cguanqin, have you downloaded the checkpoint from Kaggle or HuggingFace Hub before running the docker? > > You can follow the instruction here to get the checkpoint. https://www.kaggle.com/models/google/gemma/frameworks/pyTorch...

我训练的时候，只能用fp32，用不了fp16和bf16。感谢你的解答 ---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年4月7日(周日) 晚上6:49 收件人: ***@***.***>; 抄送: ***@***.******@***.***>; 主题: Re: [QwenLM/Qwen-VL] loss 在第二个step就变成了0 (Issue #352) 用v100训练的也遇到了同样的问题，换a100就可以了，应该是数据类型的问题，v100当时只能用float16，然后a100换成bf16就好了 — Reply to this email directly, view it on GitHub, or...

> >  hi @ZhihuaGao , 这几个更新是针对混合训练的 > > 想问下qwenvl大佬,仅仅改变img_size扩大了一倍多的分辨率，微调后发现幻觉显著增加了，3.5k的数据，这个仅仅更改配置是不是有问题？ 技术指南中 阶段2 阶段3 的训练都是 448*448 ，如果仅仅扩大分辨率 需要较多数据去训练，vit参数 全放开训练才行 我认为

> 我也遇到训练进度卡在0的问题，直接pip install deepspeed训练会卡住，从源码安装deepspeed解决，deepspeed版本0.14.2 我使用源码进行了deepspeed的安装，版本和你的一样，但是目前还是卡住不能训练；能否给出一些 细节，比如安装deepspeed需要注意的地方

> > > 我也遇到训练进度卡在0的问题，直接pip install deepspeed训练会卡住，从源码安装deepspeed解决，deepspeed版本0.14.2 > > > > > > 我使用源码进行了deepspeed的安装，版本和你的一样，但是目前还是卡住不能训练；能否给出一些 细节，比如安装deepspeed需要注意的地方 > > 我后来想了一下原因，我们卡住的原因都是用了deepspeedzero3，如果用zero2的话就应该不会报错，但是一般zero2站的显存会大一些，zero3实际上是利用内存来解决显存不够的问题，我特地看了一下用zero3的时候内存的消耗，我发现卡住的原因一般是内存占满了，甚至有时候使用到了交换内存，这就会使得电脑处理数据变慢或者卡住，因为没有多余的内存（内存条那种高速闪存）来供CPU处理数据，所以解决这个问题的最好办法就是换成zero2或者多加几根内存条，内存够用自然就好了，而且一般zero3只是在最开始的时候占用很大内存，有时候内存如果将将够能走过去的话后面就正常训练了，不能走过去就会卡住 明白