MuKEA
MuKEA copied to clipboard
AndersonStra
关于在OK-VQA模型上答案词表不对应的问题
作者您好，感谢您提出的这项非常有意义的工作。我利用2卡的3090GPU尝试复现MuKEA在OK-VQA上的准确率。首先在预训练阶段学习率设置为代码里的10（-4），在第14轮左右预训练的准确率可以达到27.2左右。然后我利用这个模型在okvqa上进行微调，学习率也为10（-4），epoch为200，但往往在100-150轮左右收敛，准确率最高可达到40左右，与论文里的准确率42.59差了2个点。然后我将预训练的学习率设置为论文里的10（-5），epoch设置为200，在第181轮时预训练的准确率可以达到30.34，我拿这个模型进行微调准确率可以达到41.57，和论文里的准确率还是差了1个点左右。我也尝试过调低微调阶段学习率，代码也没有修改过，指令输入无误，但总是和论文里的准确率差了一两个点。所以想问一下作者能不能release一下训练好的模型。也请作者能够解答一下我的困惑，祝工作科研顺利！
作者您好，感谢您的回复。我已经下载了您上传的OKVQA模型文件，但是在装载模型参数时显示错误。可能是pretrain_dic_all_filter.pickle这个词表没有上传对，我现在的这个词表数量是146348，而您原始的是27199。我目前在数据里没有找到27199数量的答案词表，期待您的回复！
@wgada 您好，请问一下您，这是什么问题呀
我把这两段语句放上去之后没有报错，但是又有最后那张图新的报错说没有定义的问题
期待您的回复，祝您工作生活愉快！
我把红框部分删除掉了，就没有提示错误了，但是我不知道是什么原因，不知道您是否能帮忙解答一下
作者您好，感谢您的回复。我已经下载了您上传的OKVQA模型文件，但是在装载模型参数时显示错误。可能是pretrain_dic_all_filter.pickle这个词表没有上传对，我现在的这个词表数量是146348，而您原始的是27199。我目前在数据里没有找到27199数量的答案词表，期待您的回复！
不好意思，最近忙于毕业论文没有时间，这两天我会基于新的词表上传新的模型checkpoint
作者您好，感谢您的回复。我已经下载了您上传的OKVQA模型文件，但是在装载模型参数时显示错误。可能是pretrain_dic_all_filter.pickle这个词表没有上传对，我现在的这个词表数量是146348，而您原始的是27199。我目前在数据里没有找到27199数量的答案词表，期待您的回复！
已更新checkpoint
@wgada 您好，请问一下您，这是什么问题呀
您好，我目前也在跑这个实验，遇到了和您一样的问题，请问您有解决吗，期待您的回复，非常感谢！
作者您好，感谢您提出的这项非常有意义的工作。我利用2卡的3090GPU尝试复现MuKEA在OK-VQA上的准确率。首先在预训练阶段学习率设置为代码里的10（-4），在第14轮左右预训练的准确率可以达到27.2左右。然后我利用这个模型在okvqa上进行微调，学习率也为10（-4），epoch为200，但往往在100-150轮左右收敛，准确率最高可达到40左右，与论文里的准确率42.59差了2个点。然后我将预训练的学习率设置为论文里的10（-5），epoch设置为200，在第181轮时预训练的准确率可以达到30.34，我拿这个模型进行微调准确率可以达到41.57，和论文里的准确率还是差了1个点左右。我也尝试过调低微调阶段学习率，代码也没有修改过，指令输入无误，但总是和论文里的准确率差了一两个点。所以想问一下作者能不能release一下训练好的模型。也请作者能够解答一下我的困惑，祝工作科研顺利！
请问您在Pre-training on VQAv2这一步设置的dataset是vqav2嘛，这里的代码有没有改呢，我找不到data/vqa_img_feature_test.pickle这个文件，请问您在哪找的？
