DSD-SATN
DSD-SATN copied to clipboard
JDAI-CV
数据细节问题
你好，很感谢提供了3dpw和hm36的标签，这里有几个疑惑。
关于pw3d：
问题1：为什么使用的betas是annots_hmrvideo的而不是pw3d原始提供的beta；
问题2：label['cam_rotation_matrix'] = raw_labels['cam_poses'][j,:3,:3] ，看你的centerHMR，这个相机外参矩阵应该是乘以到pose的global_rotation。在进行最终的监督时，不要单独监督这个相机外参。但是看你最终返回的dataset，好像没有使用这个相机外参。
所以这里的pose，其实没有对global_rotation做额外的处理？
关于hm3.6
1 每一张图对应上面的标签，这里cam，pose，trans，都有三个值，再使用的时候，代码里面是随机选择的，是不是说明这三组数据差不多？
2 同理pw3d,关于pose的处理，这里发现直接将info['cam']赋值给了pose：pose[:3] = root_rotation。所以很困惑，上面的pw3d的pose[:3] 是原始的global_rotation，而这里的pose[:3]被赋值了info['cam']。他们是等价的吗？如何我要使用这个数据集，那么这个cam * pose[:3] 跟canterHMR输的的pose[:3]才是等价的？
对于前两个问题，因为ＤＳＤ这篇文章的主要competitor就是ＨＭＲ－ｖｉｄｅｏ，所以采用和它一样的ＧＴ用于评测，主要用于性能对比。所有的设置都是为了与ＨＭＲ－ｖｉｄｅｏ的设置保持一致的。
关于h36m数据集，因为每一帧都是按照每五帧采一帧下采样出来的，每一帧有３个ＳＭＰＬ参数是３个真正临近帧的ＳＭＰＬ，随机采样是为了避免过拟合，因为真正临近帧动作基本一致。
对于３ＤＰＷ数据集的处理还是建议看ＲＯＭＰ的相关部分代码。
我这里2D pose对的挺好的呀，没什么问题。
我好像是丢弃了每个视频前１５帧，应该是整个采样平移了５为倍数的帧数，你可以试一下。具体的太久远，忘记了。。。
h36m_preprocess_video.py.zip
目前通过这个视频抽帧脚本（每一个视频完成解码，5倍采样，舍弃采样得到的第一帧），完成了S11和S9抽帧并验证，其中每一个视频完成抽帧验证，发现基本都是对的。
但是其中S9_Greeting_[0|1|2|3] 好像平移不对
如下图：
除了S9_Greeting_这个动作视频有问题，其他S9和S11的视频基本都是对的：
感谢！ 我也发现有平移的问题了。貌似是ground truth本身有问题。但不影响3D pose 评测。 S9通常protocol里都只用来作为test set，不能用于训练的。