大佬,我想问一下关于mIoU指标等问题
大佬好,我最近正在尝试复现论文中的指标,但是出了一些小问题,因为环境的问题,在不更改逻辑的情况下,我修改了部分eval_3dovs的代码,但是我得出的结果,和论文中有点差距,例如3d-ovs的bed我只拿到了70的mIoU,sofa65。然后我去尝试修改sam的超参,在几次尝试之后,数值有了一些小变化,请问大佬后续会考虑将完整的测试步骤和超参等公开吗?
因为我现在面临一个问题,语义3dgs好多的论文我想拿到paper中的效果都很困难,我想在后续的论文中,如果没有确切的完整的参数,我想直接都使用一套统一的评判标准了。
感谢大佬,saga真是一个非常棒的研究。
({'Pikachu': 0.7030258119106293, 'a stack of UNO cards': 0.443257212638855, 'a red Nintendo Switch joy-con controller': 0.9504347801208496, 'Gundam': 0.16355472505092622, 'Xbox wireless controller': 0.7394120335578919, 'grey sofa': 0.9159052729606628}, 0.6525983060399692)
你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。
你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。
好的,感谢大佬
你好!最近比较忙回复晚了些,由于3dovs数据集的数据特性,在数据预处理部分确实使用了不同的SAM预处理超参,否则从一开始SAM自动提取出的mask就是错的,但eval_3dovs代码本身应该是不需要修改的。晚点我会找一下这部分SAM超参数并公开。
好的,感谢大佬
你好,请教一下,我想要计算自己的数据集通过saga_gui.py分割模型的mIoU,应该如何计算?
我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢
大佬好,我最近正在尝试复现论文中的指标,但是出了一些小问题,因为环境的问题,在不更改逻辑的情况下,我修改了部分eval_3dovs的代码,但是我得出的结果,和论文中有点差距,例如3d-ovs的bed我只拿到了70的mIoU,sofa65。然后我去尝试修改sam的超参,在几次尝试之后,数值有了一些小变化,请问大佬后续会考虑将完整的测试步骤和超参等公开吗?
因为我现在面临一个问题,语义3dgs好多的论文我想拿到paper中的效果都很困难,我想在后续的论文中,如果没有确切的完整的参数,我想直接都使用一套统一的评判标准了。
感谢大佬,saga真是一个非常棒的研究。
({'Pikachu': 0.7030258119106293, 'a stack of UNO cards': 0.443257212638855, 'a red Nintendo Switch joy-con controller': 0.9504347801208496, 'Gundam': 0.16355472505092622, 'Xbox wireless controller': 0.7394120335578919, 'grey sofa': 0.9159052729606628}, 0.6525983060399692)
@lijian181 你好我翻了我们之前的代码,发现3dovs sofa这个场景使用了这套参数。但实际上这个参数应该不是很严格的,只要能保证大致分割效果没有问题即可。你也可以试下使用SAM2,SAM3等更新的分割技术,可能也会有更好的效果。 mask_generator = SamAutomaticMaskGenerator( model=sam, points_per_side=16, pred_iou_thresh=0.6, box_nms_thresh=0.7, stability_score_thresh=0.1, crop_n_layers=0, crop_n_points_downscale_factor=1, min_mask_region_area=200, )
我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢
@zhp2018 直接使用.pt进行渲染是ok的,不过要考虑到在特定视角下分割目标会有一些遮挡物,在遮挡情况下的2D mask才是符合2D gt的。
我使用render分割.pt后的照片和对应视角的图片做的掩码,自己写了计算两者的IoU来实现,谢谢
@zhp2018 直接使用.pt进行渲染是ok的,不过要考虑到在特定视角下分割目标会有一些遮挡物,在遮挡情况下的2D mask才是符合2D gt的。
是的,另外分割后的高斯边缘会有毛边,导致计算IoU值较低。2d mask的获取时报缺少seg_cfg_args,2d mask是应该如何获取?