delving-deeper-into-the-decoder-for-video-captioning

delving-deeper-into-the-decoder-for-video-captioning copied to clipboard

hi, after using the checkpoint to test, the output may be the word indexes? `{'testlen': 45403, 'reflen': 46693, 'guess': [45403, 38890, 32377, 25864], 'correct': [40964, 26695, 15019, 7511]}` how to...

Mollylulu

我根据您提供的prepare_frames.py文件抽取了视频帧后，再根据 https://github.com/WingsBrokenAngel/ECO-efficient-video-understanding 配置好了环境，同时也下载好了您在 https://github.com/WingsBrokenAngel/Semantics-AssistedVideoCaptioning 提供的模型预训练权重ECO_full_kinetics.caffemodel(经过校验MD5确定下载无误)和对应的deploy.prototxt文件，但是在使用generate_eco_feature.py生成msrvtt_eco_32_feats.npy时，发现生成的结果与您在 https://github.com/WingsBrokenAngel/Semantics-AssistedVideoCaptioning 中的msrvtt_resnext_eco.npy结果有较大差距，尤其是ECO_full的512维3D卷积特征几乎完全不同，我也去对比了generate_res_feature.py生成的msrvtt_res_32_feats.npy文件与msrvtt_resnext_eco.npy中的相应部分，发现两者差距很小，请问您在使用generate_eco_feature.py生成msrvtt_eco_32_feats.npy的过程中时进行了别的处理吗？我要怎样才能生成和您一样的msrvtt_eco_32_feats.npy文件呢？

Y111555