在对视频进行关键点跟踪时，点抖动严重

[luweishuang]

针对视频做关键点跟踪时，人在静止不动的情况下，68个关键点仍在抖动。请问大约是什么原因导致的？有校正方案或者思路推荐吗？ 另外在align_mean函数中， cv::Mat align_mean(cv::Mat mean, cv::Rect facebox, float scaling_x=1.0f, float scaling_y=1.0f, float translation_x=0.0f, float translation_y=0.0f) { using cv::Mat; // Initial estimate x_0: Center the mean face at the [-0.5, 0.5] x [-0.5, 0.5] square (assuming the face-box is that square) // More precise: Take the mean as it is (assume it is in a space [-0.5, 0.5] x [-0.5, 0.5]), and just place it in the face-box as // if the box is [-0.5, 0.5] x [-0.5, 0.5]. (i.e. the mean coordinates get upscaled) Mat aligned_mean = mean.clone(); Mat aligned_mean_x = aligned_mean.colRange(0, aligned_mean.cols / 2); Mat aligned_mean_y = aligned_mean.colRange(aligned_mean.cols / 2, aligned_mean.cols); aligned_mean_x = (aligned_mean_xscaling_x + 0.5f + translation_x) * facebox.width + facebox.x; aligned_mean_y = (aligned_mean_yscaling_y + 0.3f + translation_y) * facebox.height + facebox.y; return aligned_mean; } 0.5f, 0.3f的取值依据是？ 感觉应该是0.5f, 0.5f(因为aligned_mean的范围是(-0.5, 0.5)), 但真的设置为0.5f, 0.5f会出现跟不上人脸的情况

[chengzhengxin]

直接通过图像信息回归得到2d的landmark都会抖动，包括使用CNN的方式回归得到的landmark抖动也会很严重，没有较好的解决办法，因为训练数据中人脸特征点就是存在噪声的，做不到精确到像素，故基于此得到的学习模型也会抖动。目前知道的一种方法是通过人脸3d shape信息和图像同时得到的landmark不会出现抖动的现象，具体参考浙大chen cao的Facial Animation系列paper

[ailias]

请问抖动这个问题有好的解决方案吗？求分享

[JianTse]

可以参考clm跟踪

[decajcd]

直接通过图像信息回归得到2d的landmark都会抖动，包括使用CNN的方式回归得到的landmark抖动也会很严重，没有较好的解决办法，因为训练数据中人脸特征点就是存在噪声的，做不到精确到像素，故基于此得到的学习模型也会抖动。目前知道的一种方法是通过人脸3d shape信息和图像同时得到的landmark不会出现抖动的现象，具体参考浙大chen cao的Facial Animation系列paper

请问有方法解决吗