bihand icon indicating copy to clipboard operation
bihand copied to clipboard

How can I get the 3d pose without camera intrinsic root or bone_length?

Open Rookienovice opened this issue 2 years ago • 3 comments

您好,很感谢您的工作,另外我想知道如果在不知道相机参数,root 和 bone_length 的情况下,可以有什么办法获得相机坐标系下的绝对的3d pose吗?

Rookienovice avatar Jun 16 '22 06:06 Rookienovice

还有,请问您论文比较3D pck 和 AUC 采用的是LifeNet得到的joint 还是 MANO模型映射后的joint?LiftNet 得到的的joint 和 MANO模型得到的joint 误差大吗?

Rookienovice avatar Jun 16 '22 06:06 Rookienovice

您好, 感谢您对我们工作的支持。

1) 在不知相机参数,root 和 bone_length 的情况下,是无法计算绝对3Dpose的,从3D到2D必然会损失信息。 此外,相机参数,root,和bone_length 在已知两者的情况下,另外一个是可以求解得到的。 2) 针对您的第二个问题,我们使用的 MANO 模型映射后的 joint,如果源数据集是按照MANO joint 所定义的位置标注的,那么在经过fine-tune后差别不会太大。

lixiny avatar Jun 18 '22 05:06 lixiny

感谢作者的回答!解答了我的疑问!还有问题想请教您一下: 1)您在论文采用了分阶段的训练策略,是因为先基于heatmap和silhouette获得一个比较的好的特征抽取器,对于后面LifeNet预测3D pose有帮助吗? 如果两个网络耦合到一起训练是不是结果会比较差? 2)我了解到MANO模型的 β 和 θ 参数的回归可以通过图像信息直接回归还有您论文中通过预测的 root-relative 3d pose 以 IK 的方式回归,请问这两种方式的优缺点都是什么啊?

Rookienovice avatar Jun 18 '22 13:06 Rookienovice