MotioNet
MotioNet copied to clipboard
Shimingyi
blender中骨骼动画是倒立的
我运行了您提供的示例代码，跑出来的bvh放到blender中显示。结果发现除了第一帧，其他的动作都是上下颠倒的。脚也并没有像示例视频中的那样，在地面上。需要什么额外的设置吗，还请指点一下。谢谢
你好，因为投影的一些规则，在世界坐标系下，不同的2d pose输入会对应同样的3d pose。为了避免这样的二义性，我们是在human3.6m的相机坐标系下进行训练，因此这些3d pose都不是正立在地面上的，需要自己手动旋转。在Blender里面按R就对物体进行旋转了。 Link: (NOTICE: The training data we use is in camera space, so the orientation of predicted pose will be strange when you observe it in Blender World Space, you need to rotate the user view or skeleton object in Blender)
生成bvh每一次需要旋转的角度都是固定的么， 还是会变化？hips点的世界坐标位置代表的是人在空间中的信息吗，我用cxk的视频，发现他打完篮球转身后并不会跳跃。另外还有一个疑问，bvh里面设置的动画帧率和实际视频中的帧率并不一致，是为什么？下面是我跑出来的动作bvh和使用的测试视频
https://user-images.githubusercontent.com/31378284/103266410-7b048200-49ea-11eb-85d6-cdcd5c59c3ba.mp4
旋转都是不固定的，需要自己手动调整。Hips点代表的就是空间位置，没有跳跃的原因主要还是因为全局位置恢复的不够准确，目前所用的训练数据集，相机都是从人物的侧上方进行的投影，和一般用的测试视频都存在差别。在这样的数据集里训练的模型在泛用性上会存在问题。如果需要进一步使用的话，非常建议在自己常用的场景中进行fine-tune。
帧率的问题，blender会有一个播放帧率，试着找找设置？ Link
刚才仔细看了一下项目主页中的演示视频，其中也有cxk的视频片段，和我跑出来的结果差异还是很大。想问一下您是用readme中所说的预训练模型跑出来的结果么
python evaluate.py -r ./checkpoints/wild_gt_tcc.pth -i [openpose_results_folder]
@Shimingyi 我刚下载pretrain模型，效果也很差。可以说脚步几乎没有看出任何优化的痕迹，很滑很飘，而且跳动的时候几乎看不出在跳。与paper视频效果差异极大。可能是什么原因？
@luohao123 MotioNet 在 wild video 上的测试结果，最大的限制还是因为训练数据。一个完整的human motion，包含了 代表每一帧pose的关节旋转 和 人体在空间中绝对位置的global position。对于跳跃的动作，影响视觉效果最大的其实是后一项的绝对位置，但是在我们的训练数据集中其实不包含这样的数据，很飘很滑的问题，也是因为绝对位置的求解不够准确。在视频中，对于不同的视频，我们对绝对位置可以采取手动的缩放来减小抖动，我们也会建议对不同的测试视频采用不同的处理参数。
最近两年这个领域发展的也很快，一个新的版本也在开发中，会很大程度上解决现有的一些问题： refer: https://github.com/Shimingyi/MotioNet/issues/42