PaddleVideo icon indicating copy to clipboard operation
PaddleVideo copied to clipboard

请问各种识别模型除了精度以外,有识别速度的相关指标信息吗

Open ysy070100 opened this issue 2 years ago • 9 comments

还有请问有PaddleVideo的微信群吗

ysy070100 avatar Jun 23 '22 09:06 ysy070100

识别模型是指基于RGB的识别模型(如PP-TSM、PP-TSN、SlowFast等) 还是 基于骨骼点的行为识别模型(如ST-GCN)呢?

基于RGB的识别模型速度测试中,测试结果会release在 https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/benchmark.md

huangjun12 avatar Jun 23 '22 11:06 huangjun12

https://github.com/PaddlePaddle/PaddleVideo/blob/develop/docs/zh-CN/benchmark.md 谢谢您的回答。 请问基于RGB的识别模型速度测试,测试结果中的 PaddleVideo(ips) 后面括号中的ips代表的是什么?基于骨骼点的行为识别模型有类似的识别模型速度测试吗?

ysy070100 avatar Jun 24 '22 03:06 ysy070100

表格里目前给的是训练速度,ips代表 instance per second,即每秒多少batch。 推理速度还没有给出,后续会更新

huangjun12 avatar Jun 24 '22 03:06 huangjun12

Screenshot from 2022-06-24 11-44-03 这个是Kinetics400数据集里面切帧后的train.txt,每一行后面的两个数字代表什么含义呢?还有K400数据集百度网盘下载链接失效了.我想自己根据tiny-Kinetics文件(google网盘里面的)生成可以用来训练的数据集合,是不是只需要train.csv 以及train.txt以及视频文件呢

ysy070100 avatar Jun 24 '22 03:06 ysy070100

表格里目前给的是训练速度,ips代表 instance per second,即每秒多少batch。 推理速度还没有给出,后续会更新

谢谢您的解答

ysy070100 avatar Jun 24 '22 03:06 ysy070100

标注文件每一行的含义:

文件夹路径 帧总数 标签id

代码参考这里

使用自己数据训练的话,只需要准备好视频数据和标注文件就行了

huangjun12 avatar Jun 27 '22 02:06 huangjun12

标注文件每一行的含义:

文件夹路径 帧总数 标签id

代码参考这里

使用自己数据训练的话,只需要准备好视频数据和标注文件就行了

我现在已经制作了train.csv以及trainlist.txt文件了,是不是train.csv文件就是标注文件呢,有视频文件以及train.csv和train.txt,是否就可以进行训练。在等待回复的过程中我会自己去尝试训练的 image image

ysy070100 avatar Jun 27 '22 03:06 ysy070100

发现PaddleVideo用Kinetivs400数据集进行训练的算法,好像是根据整个视频中的动作进行识别的,如果我想实现视频中针对不同人的动作进行分别的动作识别,除了slowfast_rcnn之外,还有没有推理速度更快的算法呢,现在主要想实现在摄像头下多人情况下对单人进行识别

ysy070100 avatar Jun 27 '22 03:06 ysy070100

您好,请问问题还是否需要解决,目前多模态视频能力集成在PaddleMIX中,https://github.com/PaddlePaddle/PaddleMIX/tree/develop 可以在这个repo下提出您的需求

jerrywgz avatar Mar 04 '24 09:03 jerrywgz