Metric3D icon indicating copy to clipboard operation
Metric3D copied to clipboard

输入图像的焦距对齐以及尺寸对齐问题

Open Ayanamiyui opened this issue 7 months ago • 1 comments

我最近在学习大大们的优秀的工作,在图像输入时做对齐时有一些问题想要请教: 1.为何图像在做焦距对齐时,做焦距倍率缩放时主点(cx,cy)没有做变化。在正常投影关系里,如果cx,cy没有变化对应的相机坐标系下的图像应该是裁剪后的结果吧,这个也比较符合直觉。举例的话,如焦距ratio为2时,把(100,100)的图像resize到(200,200),同时crop中心的(100,100)对应的才是cx,cy不变同时fx,fy*2的内参的投影结果。 2.为了把对齐内参的图像输入到网络,还需要进行一次scale的对齐。同样的,为什么这次缩放又仅仅进行了主点的缩放呢?每次对图像的resize应该都会对对应相机模型的内参产生同样的变化吧,为何这次又只进行了cx,cy的缩放呢? 新手学习,可能提到的问题不甚全面,希望大大可以帮忙答疑解惑,万分感谢!

Ayanamiyui avatar May 27 '25 09:05 Ayanamiyui

我可能论文读的不严谨,但是 transforming input images (CSTM image).方法中提到: the image Iundergoes resizing using the ratio ωr = fc / f , denoted as Ic = T(I,ωr), where T(·) signifies image resizing. As a result of resizing the optical center, the canonical camera model becomes fc,ωru0,ωrv0. 这里提到了如果为了对齐fc,主点u0和v0是经过ωr缩放的,这和推理代码里(third_party/Metric3D/mono/utils/do_test.py, line181)的 canonical_intrinsic = [ intrinsic[0] * cano_label_scale_ratio, intrinsic[1] * cano_label_scale_ratio, intrinsic[2], intrinsic[3], ] 行为并不一致,希望大大能够答疑解惑

Ayanamiyui avatar May 28 '25 01:05 Ayanamiyui

我最近在学习大大们的优秀的工作,在图像输入时做对齐时有一些问题想要请教: 1.为何图像在做焦距对齐时,做焦距倍率缩放时主点(cx,cy)没有做变化。在正常投影关系里,如果cx,cy没有变化对应的相机坐标系下的图像应该是裁剪后的结果吧,这个也比较符合直觉。举例的话,如焦距ratio为2时,把(100,100)的图像resize到(200,200),同时crop中心的(100,100)对应的才是cx,cy不变同时fx,fy*2的内参的投影结果。 2.为了把对齐内参的图像输入到网络,还需要进行一次scale的对齐。同样的,为什么这次缩放又仅仅进行了主点的缩放呢?每次对图像的resize应该都会对对应相机模型的内参产生同样的变化吧,为何这次又只进行了cx,cy的缩放呢? 新手学习,可能提到的问题不甚全面,希望大大可以帮忙答疑解惑,万分感谢!

我不知道理解的对不对,depth 已经按 1/resize_ratio 缩放(metric depth 修正)

图像像素被 resize → 对应的 cx, cy 要跟着移动,保证投影像素正确

fx, fy 表示相机焦距 单位为像素

由于 depth 已经缩放成 metric depth / resize_ratio

fx, fy 保持不变

dxw2000 avatar Nov 18 '25 14:11 dxw2000