BAD-Gaussians icon indicating copy to clipboard operation
BAD-Gaussians copied to clipboard

关于本篇论文中,渲染细节的相关问题

Open 520jz opened this issue 9 months ago • 10 comments

亲爱的作者您好!原谅我的菜,我想问一下您这篇论文中一些渲染方面的细节问题,正如您论文中所所说:在初始pose以及截止pose之间进行插值,以获得沿轨迹的每个相机pose,然后将对应的pose的image渲染出来生成一些列的虚拟清晰图像,然后将这些虚拟清晰图像进行混合得到渲染后的blur-image,最后将渲染的blur-image和GT-blur-image做损失,以联合更新并优化pose以及高斯的参数。

我比较好奇的是,原始的gaussian splatting我每次迭代渲染只渲染一张image,然后render后会返回一个bool类型的数组(记录半径大于0的椭球),以及一个记录梯度的数组(在代码中是viewspace_point_tensor, visibility_filter以及radii),这几个数据是会在后面自适应的致密化操作中使用的。但是如果按照您这篇论文的思路的话,假设我插值生成了5个pose,每个pose我渲染出一张virtual-image,那么每次渲染都会返回我上面说的那三个数据,我是要将每次render得到的这三个数据也求平均后再进行致密化吗? image

我粗略的画了两张图,以便您能更好的理解我的问题: 下面这张图是您这篇论文中我假设的五个pose的情况下,一个大概的流程(主要是下面自适应操作的处理,是做五次自适应操作,还是说将对应的数据求平均后做一次自适应的操作,但是如果求平均的话感觉原理上不太合理,因为有些梯度高的和梯度低的部分的椭球可能会被平均掉,影响自适应的准确性) image 这张是原始的3DGaussian splatting的流程: image

520jz avatar May 20 '24 09:05 520jz