python-face-relighting icon indicating copy to clipboard operation
python-face-relighting copied to clipboard

代码实现细节与原论文不一致?

Open zhuhaozh opened this issue 5 years ago • 3 comments

Hi, @pengbo-learn

我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。

但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。

不知道您对这样的现象有没有什么建议?下图我是自己复现的结果 image

zhuhaozh avatar Jan 05 '20 12:01 zhuhaozh

Hi, @pengbo-learn

我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。

但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。

不知道您对这样的现象有没有什么建议?下图我是自己复现的结果 image

color, position, normal 都有用到,其中normal是根据position计算出来的

pengbo-learn avatar Jan 06 '20 04:01 pengbo-learn

使用poisson对非脸部区域做了一个补全

你好,能问下你具体是怎么用poisson做补全的呢?

fantasy-fish avatar Mar 30 '20 05:03 fantasy-fish

Hi, @pengbo-learn

我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。

但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。

不知道您对这样的现象有没有什么建议?下图我是自己复现的结果 image

请问您是怎么向非脸部区域做补全的啊,多谢!

tachikoma777 avatar May 24 '21 12:05 tachikoma777