LivePortrait icon indicating copy to clipboard operation
LivePortrait copied to clipboard

为什么 -s A.png -d A.png 结果总是高一段距离?

Open yingDev opened this issue 1 year ago • 8 comments

尝试了各种参数组合,结果依然一样。探究发现似乎与 headpose_pred_to_degree 中的魔法数字 97.3 有关... 是否有办法保证 -s A -d A == A ?

474_2

yingDev avatar Jan 02 '25 11:01 yingDev

感谢反馈💗 @yingDev 问题可否描述的更清晰一些嘛?比如这个gif是什么参数组合跑出来的。

Thank you for your feedback! 💗 Could you describe the issue more clearly? For example, what parameter combination was used to generate this GIF?

cleardusk avatar Jan 02 '25 12:01 cleardusk

比如

-s A.png -d A.png --flag-crop-driving-video --flag-crop-driving-video --no-flag-relative-motion --animation-region exp -o out

上面的 gif 并非直接输出,是我做的 A.png 与 A--A.jpg 的对比。

A.png:

A

yingDev avatar Jan 02 '25 12:01 yingDev

此外,仔细观察会发现,结果好像总是比原图 暗淡 一点点 ?

yingDev avatar Jan 02 '25 13:01 yingDev

@yingDev 可以尝试:

python inference.py \
    -s tmp/issue471.png \
    -d tmp/issue471.png \
    -o out \
    --no_flag_do_crop \
    --no_flag_relative_motion \
    --no_flag_pasteback \
    --no_flag_stitching \
    --animation_region="all"

tmp/issue471.png 即上面的输入图。

输入vs.输出对比(GIF):

issue471--issue471_concat

cleardusk avatar Jan 03 '25 07:01 cleardusk

@cleardusk 感谢回复。确实有效,也就是说禁止裁剪缝合。 但是色差可能是什么原因呢? 我尝试修改源码输出为 png,还是明显看出颜色变暗了一点点。

yingDev avatar Jan 03 '25 10:01 yingDev

色差可以理解为网络有个“重建”+“超分”导致。

@cleardusk 感谢回复。确实有效,也就是说禁止裁剪缝合。 但是色差可能是什么原因呢? 我尝试修改源码输出为 png,还是明显看出颜色变暗了一点点。

cleardusk avatar Jan 03 '25 11:01 cleardusk

色差可以理解为网络有个“重建”+“超分”导致。

@cleardusk 感谢回复。确实有效,也就是说禁止裁剪缝合。 但是色差可能是什么原因呢? 我尝试修改源码输出为 png,还是明显看出颜色变暗了一点点。

我试了下用 skimage.exposure.match_histogram ,色差基本消除

    adjusted_frame = ski.exposure.match_histograms(out_frame, src_frame)

yingDev avatar Jan 03 '25 14:01 yingDev

色差可以理解为网络有个“重建”+“超分”导致。

@cleardusk 感谢回复。确实有效,也就是说禁止裁剪缝合。 但是色差可能是什么原因呢? 我尝试修改源码输出为 png,还是明显看出颜色变暗了一点点。

我试了下用 skimage.exposure.match_histogram ,色差基本消除

    adjusted_frame = ski.exposure.match_histograms(out_frame, src_frame)

你好,能请教一下,在哪边修改这行代码能基本消除色差

jsntcheng avatar Jan 13 '25 02:01 jsntcheng