zhiru_xu

> 作者您好，感谢您提出的这项非常有意义的工作。我利用2卡的3090GPU尝试复现MuKEA在OK-VQA上的准确率。首先在预训练阶段学习率设置为代码里的10（-4），在第14轮左右预训练的准确率可以达到27.2左右。然后我利用这个模型在okvqa上进行微调，学习率也为10（-4），epoch为200，但往往在100-150轮左右收敛，准确率最高可达到40左右，与论文里的准确率42.59差了2个点。然后我将预训练的学习率设置为论文里的10（-5），epoch设置为200，在第181轮时预训练的准确率可以达到30.34，我拿这个模型进行微调准确率可以达到41.57，和论文里的准确率还是差了1个点左右。我也尝试过调低微调阶段学习率，代码也没有修改过，指令输入无误，但总是和论文里的准确率差了一两个点。所以想问一下作者能不能release一下训练好的模型。也请作者能够解答一下我的困惑，祝工作科研顺利！ 请问您在Pre-training on VQAv2这一步设置的dataset是vqav2嘛，这里的代码有没有改呢，我找不到data/vqa_img_feature_test.pickle这个文件，请问您在哪找的？

> dataset后的"\"是"或"的意思，也就是让你选一个数据集finetune。虽然这种表述我也是第一次见 请问您在Pre-training on VQAv2这一步设置的dataset是vqav2嘛，这里的代码有没有改呢，我找不到data/vqa_img_feature_test.pickle这个文件，请问您在哪找的？

 请问您在Pre-training on VQAv2这一步设置的dataset是vqav2嘛，这里的代码有没有改呢，我找不到data/vqa_img_feature_test.pickle这个文件，请问您在哪找的？

> 自己转的 这个怎么转的，可以参考一下吗，就是生成了这个文件vqa_img_feature_test.pickle吗

> > > 自己转的 > > > > > > 这个怎么转的，可以参考一下吗，就是生成了这个文件vqa_img_feature_test.pickle吗 > > 好的，谢谢大佬

> 按照batch_size=256、学习率=1e-4无法复现两个下游任务精度？请问如何设置相关参数以及如何训练？   请问在微调阶段，您有过这个报错吗，则会个该如何修改

> > > 按照batch_size=256、学习率=1e-4无法复现两个下游任务精度？请问如何设置相关参数以及如何训练？ > > >  > > >  > > > > > > 请问在微调阶段，您有过这个报错吗，则会个该如何修改 > > 没有，args.load_pthpath这个变量中路径有问题 好哒，谢谢大佬