SegAnyGAussians icon indicating copy to clipboard operation
SegAnyGAussians copied to clipboard

大佬,我想问一下关于mIoU指标等问题

Open lijian181 opened this issue 3 months ago • 7 comments

大佬好,我最近正在尝试复现论文中的指标,但是出了一些小问题,因为环境的问题,在不更改逻辑的情况下,我修改了部分eval_3dovs的代码,但是我得出的结果,和论文中有点差距,例如3d-ovs的bed我只拿到了70的mIoU,sofa65。然后我去尝试修改sam的超参,在几次尝试之后,数值有了一些小变化,请问大佬后续会考虑将完整的测试步骤和超参等公开吗?

因为我现在面临一个问题,语义3dgs好多的论文我想拿到paper中的效果都很困难,我想在后续的论文中,如果没有确切的完整的参数,我想直接都使用一套统一的评判标准了。

感谢大佬,saga真是一个非常棒的研究。

({'Pikachu': 0.7030258119106293, 'a stack of UNO cards': 0.443257212638855, 'a red Nintendo Switch joy-con controller': 0.9504347801208496, 'Gundam': 0.16355472505092622, 'Xbox wireless controller': 0.7394120335578919, 'grey sofa': 0.9159052729606628}, 0.6525983060399692)

lijian181 avatar Sep 26 '25 01:09 lijian181

你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。

Jumpat avatar Sep 29 '25 02:09 Jumpat

你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。

好的,感谢大佬

lijian181 avatar Sep 29 '25 07:09 lijian181

你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。

好的,感谢大佬

你好,请教一下,我想要计算自己的数据集通过saga_gui.py分割模型的mIoU,应该如何计算?

zhp2018 avatar Nov 24 '25 07:11 zhp2018

我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢

zhp2018 avatar Nov 25 '25 06:11 zhp2018

大佬好,我最近正在尝试复现论文中的指标,但是出了一些小问题,因为环境的问题,在不更改逻辑的情况下,我修改了部分eval_3dovs的代码,但是我得出的结果,和论文中有点差距,例如3d-ovs的bed我只拿到了70的mIoU,sofa65。然后我去尝试修改sam的超参,在几次尝试之后,数值有了一些小变化,请问大佬后续会考虑将完整的测试步骤和超参等公开吗?

因为我现在面临一个问题,语义3dgs好多的论文我想拿到paper中的效果都很困难,我想在后续的论文中,如果没有确切的完整的参数,我想直接都使用一套统一的评判标准了。

感谢大佬,saga真是一个非常棒的研究。

({'Pikachu': 0.7030258119106293, 'a stack of UNO cards': 0.443257212638855, 'a red Nintendo Switch joy-con controller': 0.9504347801208496, 'Gundam': 0.16355472505092622, 'Xbox wireless controller': 0.7394120335578919, 'grey sofa': 0.9159052729606628}, 0.6525983060399692)

@lijian181 你好我翻了我们之前的代码,发现3dovs sofa这个场景使用了这套参数。但实际上这个参数应该不是很严格的,只要能保证大致分割效果没有问题即可。你也可以试下使用SAM2,SAM3等更新的分割技术,可能也会有更好的效果。 mask_generator = SamAutomaticMaskGenerator( model=sam, points_per_side=16, pred_iou_thresh=0.6, box_nms_thresh=0.7, stability_score_thresh=0.1, crop_n_layers=0, crop_n_points_downscale_factor=1, min_mask_region_area=200, )

Jumpat avatar Nov 25 '25 08:11 Jumpat

我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢

@zhp2018 直接使用.pt进行渲染是ok的,不过要考虑到在特定视角下分割目标会有一些遮挡物,在遮挡情况下的2D mask才是符合2D gt的。

Jumpat avatar Nov 25 '25 08:11 Jumpat

我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢

@zhp2018 直接使用.pt进行渲染是ok的,不过要考虑到在特定视角下分割目标会有一些遮挡物,在遮挡情况下的2D mask才是符合2D gt的。

是的,另外分割后的高斯边缘会有毛边,导致计算IoU值较低。2d mask的获取时报缺少seg_cfg_args,2d mask是应该如何获取?

zhp2018 avatar Nov 25 '25 09:11 zhp2018