A question about the ngp pose, and related problem.

[Net-Maker]

您好！您的工作非常精彩，通过阅读源代码使我收益颇多 这里想请教一下： 1）输入NeRF中的pose以及推理中使用的原视频的pose指的到底是什么呢？是头部的三维姿态吗？我只能确定它不是landmark 2）在我的实验中发现：由于推理中的眨眼与原始pose的眨眼频率并不同，这导致了原视频在眨眼时，人脸会出现异常的抖动现象，这个抖动现象是否有办法消除呢？我使用debug模式查看后发现抖动现象出现时landmark并没有异常，那么是pose造成的吗？ 非常期待您的回复，希望您可以指点一二

[wangchenwc]

如果用head 的best checkpoint 去训练torso，眨眼就不会出现抖动。

[wangchenwc]

但我训练出来的人，在原始pose有前倾或者点头的时候，脸会变得忽大忽小

[Net-Maker]

是的，我遇到的也是忽大忽小的问题，我这里描述的就是这个问题

[Net-Maker]

你可以增加landmark的平滑窗口，一定程度上可以改善忽大忽小的问题

[Net-Maker]

对于问题1，我已经大概认定这是位姿，但是对于原视频一眨眼，推理的人脸就忽大忽小这个问题我还是比较困惑

[wangchenwc]

你可以增加landmark的平滑窗口，一定程度上可以改善忽大忽小的问题

你说的是，在预估的时候infer_smooth_camera_path_kernel_size么？

[Net-Maker]

你可以增加landmark的平滑窗口，一定程度上可以改善忽大忽小的问题

你说的是，在预估的时候infer_smooth_camera_path_kernel_size么？

我的做法是增加训练时的哪个smo_win_size，那个是用来平滑landmark的

[zk19971101]

对于问题1，我已经大概认定这是位姿，但是对于原视频一眨眼，推理的人脸就忽大忽小这个问题我还是比较困惑

请问是原始视频中每一帧图像的相机的RT矩阵（外参）吗？