Xinhao Li

> @ALL I have. pls dm me Thanks! It's my email: [email protected] , please share the download link with me when you are free.

@SHYuanBest @1093842024 @Wenju-Huang 之前的demo加载权重有些问题，实际上没加载对预训练权重，现已修复，模型内部是没有随机化流程的，多次运行的轻微差异可能是由于Pytorch的计算误差。

> > @SHYuanBest @1093842024 @Wenju-Huang 之前的demo加载权重有些问题，实际上没加载对预训练权重，现已修复，模型内部是没有随机化流程的，多次运行的轻微差异可能是由于Pytorch的计算误差。 > > 我上面是修复模型加载问题后的结果，只不过是没有经softmax做归一化，加上softmax后结果和您的还是不一样，请问你测试的是https://huggingface.co/OpenGVLab/InternVideo2-Stage2_1B-224p-f4/blob/main/InternVideo2-stage2_1b-224p-f4.pt 这个模型吗。 是的，请问是得到的分数排序不一样吗，我理解只要排序一样，分数有细微差异也可以接受，这个问题其实我们很早就发现了，可能是代码隐式的包含了一些并行加速模块之类的，导致每次计算有一些随机波动，但是不影响最终排序结果

> > > > @SHYuanBest @1093842024 @Wenju-Huang 之前的demo加载权重有些问题，实际上没加载对预训练权重，现已修复，模型内部是没有随机化流程的，多次运行的轻微差异可能是由于Pytorch的计算误差。 > > > > > > > > > 我上面是修复模型加载问题后的结果，只不过是没有经softmax做归一化，加上softmax后结果和您的还是不一样，请问你测试的是https://huggingface.co/OpenGVLab/InternVideo2-Stage2_1B-224p-f4/blob/main/InternVideo2-stage2_1b-224p-f4.pt 这个模型吗。 > > > > > > 是的，请问是得到的分数排序不一样吗，我理解只要排序一样，分数有细微差异也可以接受，这个问题其实我们很早就发现了，可能是代码隐式的包含了一些并行加速模块之类的，导致每次计算有一些随机波动，但是不影响最终排序结果 > > 顺序也不一样，我得到的结果是这样的 如果在加载完模型后更换多个随机数种子，结果还是会发生变化吗，如果会的话，说明确实是计算误差，反之可能是因为权重没加载对导致有权重是随机初始化的。

@shepnerd @Wenju-Huang @1093842024 @SHYuanBest I find this bug is because we forget add `model.eval()` in demo, we need to enable it to turn off drop path, now this bug was...

Just one gpu below 10 gpu memory.

Maybe you need to use the code of Internvideo2.mulitidality and add a model defintion of ViCLIP.