TransCG icon indicating copy to clipboard operation
TransCG copied to clipboard

通过Inference.py里的Inferencer推理自己的rgb和depth,得到的恢复深度畸变严重

Open Jingranxia opened this issue 1 year ago • 4 comments

image 作者您好,感谢您的工作,我使用 kernel size=1的 模型权重进行推理,通过D435相机保存rgb与depth,其中depth = depth / 1000.0 ,出现了上面那种情况,其中可视化程序是 rgbd = o3d.geometry.RGBDImage.create_from_color_and_depth(o3d_rgb, o3d_depth, convert_rgb_to_intensity=False) pinhole_camera_intrinsic = o3d.camera.PinholeCameraIntrinsic(intrinsics.width, intrinsics.height, intrinsics.fx, intrinsics.fy, intrinsics.ppx, intrinsics.ppy) cloud = o3d.geometry.PointCloud.create_from_rgbd_image(rgbd, pinhole_camera_intrinsic, project_valid_depth_only=False) 内参使用的是我的相机的内参,这样会对您的深度图的结果有何影响吗?

Jingranxia avatar Sep 24 '24 07:09 Jingranxia

0030 RGB图

Jingranxia avatar Sep 24 '24 07:09 Jingranxia

Uploading image.png…

Jingranxia avatar Sep 24 '24 07:09 Jingranxia

refine_depth = inferencer.inference(color_image, depth_image, target_size=(640, 480))

Jingranxia avatar Sep 24 '24 07:09 Jingranxia

您好!能提供一下其他角度的图片吗,这个角度这些畸变看得不太明显。您的代码应该没问题。

由于跟训练数据在不同的domain,对于新场景的补全效果确实会受到一定影响,不过可能对后续的抓取的影响不大。如果需要效果更佳的模型,可以考虑在应用domain内采集少量的数据进行finetune。

Galaxies99 avatar Sep 24 '24 16:09 Galaxies99