Yu Sun

Results 301 comments of Yu Sun

No, the gradients will still be calculated but we don't use it to update the parameters. In other word, no optimizer is defined for the SMPL parameter update.

Hi, The implementation is quite simple CAR: https://github.com/Arthur151/ROMP/blob/91dac0172c4dc0685b97f96eda9a3a53c626da47/romp/lib/maps_utils/centermap.py#L99 Gaussion kernel size: https://github.com/Arthur151/ROMP/blob/91dac0172c4dc0685b97f96eda9a3a53c626da47/romp/lib/maps_utils/centermap.py#L362

They are just used to generate the ground truth body center heatmap to guide more discriminative representation learning. In other word, they are only used for training.

https://github.com/facebookresearch/pytorch3d/blob/main/docs/tutorials/render_densepose.ipynb Here is the code of setting the texture of a SMPL mesh.

Q1:https://github.com/Arthur151/ROMP/issues/96 Q2:https://github.com/Arthur151/ROMP/issues/137

看log您这里训练没有使用预训练模型吧,通过其他GitHub developer的反馈,直接从0训ROMP比较难,很需要2D pose的预训练的,您可以像我这里使用[HigherHRNet-32](https://github.com/Arthur151/ROMP/releases/download/v1.1/pose_higher_hrnet_w32_512.pth)作为预训练模型,用其他2D pose训好的mobilenet开始也可以,但因为ROMP的图片处理方式不太一样,所以也要训一段时间,但应该不会陷入不收敛的情况。 还有一种简洁高效的思路,就是模型蒸馏,直接蒸大模型的输出就好了,我试过蒸小模型,很有效,很快就能训好。 有这方面的问题,可以及时问我,我后面也想蒸一个可以cpu上实时跑的模型用。 关于偏移的问题,只是配置的问题,训练的时候设置的`smpl_mesh_root_align=True`,测试的时候也要这样设置,就好了。 可能还是lr=0.00005, bs=64比较好训,batch size也不是越大越好的,训练也需要一定的随机性才能跳出局部极值。

不会影响蒸馏的。 result_parser是将模型输出的Center heatmap 和 parameter map转化成多人mesh结果,就是一个后处理过程。

我调一下,谢谢bug report。 建议直接用simple-romp,https://github.com/Arthur151/ROMP/blob/master/simple_romp/README.md 我后面主要维护simple-romp了,目前版本的代码将会弃用。

@hitsz-zuoqi ,原始输入视频可以发一下么?我用来测试debug。 其他视频也有这种问题么?