BMN how generate .npy file for train?

[Jul-lian]

BMN how generate .npy file for train?

[Jul-lian]

如何将视频数据提取为.npy 特征文件来训练呢？

[Jul-lian]

@chajchaj

[huangjun12]

.npy文件为特征文件，即将mp4文件输入训练好的视频分类网络，然后将提取的特征保存下来所得。

为此需要先训练好的一个分类网络，建议使用PP-TSM 具体步骤如下: (1) 准备好自己的视频数据集； (2) 使用自己的数据集在PP-TSM模型上进行fine-tune； (3) 将mp4文件输入训练好的PP-TSM网络进行预测，把head层提取的特征保存下来，即为BMN输入需要的.npy文件

[Jul-lian]

.npy文件为特征文件，即将mp4文件输入训练好的视频分类网络，然后将提取的特征保存下来所得。

为此需要先训练好的一个分类网络，建议使用PP-TSM 具体步骤如下: (1) 准备好自己的视频数据集； (2) 使用自己的数据集在PP-TSM模型上进行fine-tune； (3) 将mp4文件输入训练好的PP-TSM网络进行预测，把head层提取的特征保存下来，即为BMN输入需要的.npy文件

请问有相关demo代码吗？另外采用官方TSN提取的特征为shape(25,10,51),npy文件shape为(100,400)如何转换的？@huangjun12

[huangjun12]

目前没有提供demo

shape不一致有三种解决方法： (1) TSN提取的特征scale到固定尺寸。 (2) 调整TSN训练时的参数，使得提取特征为100,400。 (3) 调整BMN训练配置，以满足TSN提取特征的shape。

[Jul-lian]

目前没有提供demo

shape不一致有三种解决方法： (1) TSN提取的特征scale到固定尺寸。 (2) 调整TSN训练时的参数，使得提取特征为100,400。 (3) 调整BMN训练配置，以满足TSN提取特征的shape。

是否可以理解为BMN接受的特征值并没有特殊要求，是一个特征量即可？@huangjun12

[huangjun12]

是的，可以参考原文对特征提取方式的描述 https://arxiv.org/abs/1907.09702

[dengfenglai321]

请问对mp4提取特征是抽帧提取吗？ 一个mp4文件抽取m真提取？ 还是每一帧都提取特征保存？保存为【frameid，feature】 如果是每一帧提取特征保存那会不会报错呢？ 因为TSM有时序模块，输入一帧的话会报错吧？