finetune with lora

[cm-xcju]

这是我的配置finetune_lora.sh. 运行后现存不够。我这边只有2张4090，每张24显存。可以训练吗，或者我该如何设置去减小我训练的消耗。我只需要简单微调就行。

[cm-xcju]

[cm-xcju]

After finetuing_lora.sh, I get some file in checkpoint How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints

[laurenlong]

看您运行成功了，可以请问一下llava_image_tune_.json，videochatgpt_tune_.json，nlp_tune.json三个文件是在哪里下载的吗，原本数据集上好像并没有

[cm-xcju]

[cm-xcju]

数据集可以选择huggingface中的某一组，valley的可以只下一部分，然后打开用于测试

[laurenlong]

数据集可以选择huggingface中的某一组，valley的可以只下一部分，然后打开用于测试

请问是这里面的数据集吗，我尝试下载了多个之后打开也没有找到，唯一看到的json文件是llava_image_tune里面的dataset.json，但应该和要求的json文件没有关系

[cm-xcju]

你会下载这两个文件吧。然后解压下valley.json文件。 然后你写个代码把有视频的挑出来。

[cm-xcju]

你这个是视频文件地方。 json也有个下载的地方的。

[LiuJinzhe-Keepgoing]

@cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复

[Qinger27]

After finetuing_lora.sh, I get some file in checkpoint How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints

你好，我在自己的数据集上做了finetune也生成了这些文件，想知道怎么使用自己生成的模型文件进行推理呀？

[haopenghui]

你好，可以问下，在加载模型时遇到的特征大小不匹配得情况是如何解决的

[cm-xcju]

@cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复

有个environment文件，你按照这个就行

[cm-xcju]

你好，可以问下，在加载模型时遇到的特征大小不匹配得情况是如何解决的 Uploading 1.png… 你看下使用的模块是否对应。 还有就是multimodal_encoder中的build文件貌似要修改，我记得曾经改过。

[cs19469]

@cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复

同样遇到了各种冲突，朋友后来怎么解决的