xincheng Ju

I also have the same problem. I used one 4090 and it needs about 3s for only one sample


After finetuing_lora.sh, I get some file in checkpoint  How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer...


数据集可以选择huggingface中的某一组，valley的可以只下一部分，然后打开用于测试

  你会下载这两个文件吧。然后解压下valley.json文件。 然后你写个代码把有视频的挑出来。

你这个是视频文件地方。 json也有个下载的地方的。 

> @cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复 有个environment文件，你按照这个就行

你好，可以问下，在加载模型时遇到的特征大小不匹配得情况是如何解决的 Uploading 1.png… 你看下使用的模块是否对应。 还有就是multimodal_encoder中的build文件貌似要修改，我记得曾经改过。