cwgan-gp icon indicating copy to clipboard operation
cwgan-gp copied to clipboard

D不收敛

Open MmDawN opened this issue 5 years ago • 1 comments

您好,我跑了一下您提交的代码,发现在原始的参数设置上,D的loss过大。 2w次迭代中,最后五组的loss为:

  1. -10472.333, 4983.048
  2. -10244.234, 5052.324
  3. -354.68842, -4623.4795
  4. 116.12535, 4025.599
  5. -10456.913, 4746.973

以我对WGAN的理解,D的loss代表的是生成器无参数估计的分布与真实分布间的EM距离,因此认为这个距离并没有达到收敛标准。肉眼观测最后Generator predicate出的结果也并不理想。请问您是否出现过这一问题,或者说2w次迭代并不足以达到收敛呢?

MmDawN avatar Apr 13 '19 12:04 MmDawN

这里的loss是在一个batch(64)上计算的,batch太小的话随机性较高。如果想要看到更稳定的loss,可以对loss做moving average或者增大batch的数值

kongyanye avatar Jun 21 '19 06:06 kongyanye