python-face-relighting
python-face-relighting copied to clipboard
代码实现细节与原论文不一致?
Hi, @pengbo-learn
我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。
但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。
不知道您对这样的现象有没有什么建议?下图我是自己复现的结果

Hi, @pengbo-learn
我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。
但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。
不知道您对这样的现象有没有什么建议?下图我是自己复现的结果
color, position, normal 都有用到,其中normal是根据position计算出来的
使用poisson对非脸部区域做了一个补全
你好,能问下你具体是怎么用poisson做补全的呢?
Hi, @pengbo-learn
我最近也有打算复现这篇论文,但发现复现的结果有点问题。在您这个repo下,我发现您与原论文中的一些实现似乎不太一样: 原论文中是使用color, position, normal 先渲染图片后,使用poisson对非脸部区域做了一个补全,然后三个渲染的结果concat在一块后,使用pdf transfer,得到relighting后的图片。
但您这里的实现只是用了 3d mesh上的点的信息做 pdf tranfer, 输出color信息后再渲染到原图像上。我尝试使用3ddfa来代替您的使用的prnet,但发现结果并不太满意,只能够做到迁移整体的全局颜色,而无法做到局部的光照改变。 我也尝试将实现的严格按照论文中的说法实现,但效果还是与之前一样。
不知道您对这样的现象有没有什么建议?下图我是自己复现的结果
请问您是怎么向非脸部区域做补全的啊,多谢!