SegAnyGAussians icon indicating copy to clipboard operation
SegAnyGAussians copied to clipboard

在大场景中,怎么提高单体的分割准确率。

Open ChengWuOne opened this issue 8 months ago • 1 comments

您好,非常感谢你的开源工程,目前使用main分支的代码,对小场景的单体分割准确率挺高的。但是在大场景中对单体分割时遇到了一些准确率问题,请问一下我如何优化呢?感谢!

比如下面的分割结果,我们想分割出只有黄鹤楼主楼的单体,但是得到的结果包括了周围的场景。使用的原始数据是无人机拍摄的包括黄鹤楼在内的整个大场景的多张图片。

  1. prompt_segmenting.ipynb

Image

选的 input_point = np.array([[550, 200],[550, 900],[400, 600],[700, 600]])

Image

  1. 当前得到的单体化输出结果截图如下:

Image

ChengWuOne avatar Apr 07 '25 08:04 ChengWuOne

你好,对这一问题的改善分三个层面: 第一,可以尝试在分割结果上再次进行分割(v2 branch saga gui中实现了这一功能) 第二,可以通过改进sam auto mask extraction的超参数来调整预提取的2D mask的分布,让这些2D mask能够涵盖待分割主题 第三,可以通过改进train contrastive feature时的损失函数来使affinity feature能够辨认出这一尺度上的物体 导致这一问题的可能性有很多,既可能是由于2D masks缺失对主体的描述,又可能是场景过于复杂,优化目标难以实现;也可能是场景尺度跨度过大。 由于main branch是旧版的分割方案,存在许多缺陷,我们推荐使用v2 branch的代码。另外如果还是无法解决问题,可以试试使用我们的另一个工作sa3d-gs。

Jumpat avatar Apr 22 '25 02:04 Jumpat