我正在与Wasserstein GAN一起进行一个项目,更具体地说是与Wasserstein GAN的改进版本的实现一起工作。关于wGAN的稳定性和培训过程,我有两个理论问题。首先,众所周知,损失函数的结果与生成的样本(that is stated here)的结果的质量相关。是否有一些额外的书目支持该论点?

其次,在实验阶段,我注意到使用wGAN训练我的体系结构比使用简单版本的GAN快得多。这是常见的行为吗?是否还有一些对此的文献分析?

此外,关于使用Wasserstein损失保证的连续函数的一个问题。我在实践中理解此概念时遇到一些问题,这意味着正常的GAN丢失不是连续功能吗?

最佳答案

  • 您现在可以检查Inception ScoreFrechet Inception Distance。还有here。问题在于,GAN没有统一的目标函数(有两个网络),没有一致的评估和比较GAN模型的方法。取而代之的是,人们设计了与图像分布和生成器分布相关的度量。
  • wGAN的速度可能更快,因为它具有比 Vanilla GAN(Wasserstein指标,权重裁剪和梯度惩罚(如果使用的话))更稳定的训练程序。我不知道是否有关于速度的文献分析,对于WGAN而言,并非总是比简单的GAN更快。 WGAN找不到像GAN这样的最佳纳什均衡。
  • 考虑两个分布:p和q。如果这些分布重叠,即它们的域重叠,则KL或JS散度是可区分的。当p和q不重叠时会出现问题。像在WGAN纸示例中一样,在2D空间上说两个pdf,即V =(0,Z),Q =(K,Z),其中K不同于0,Z是从均匀分布中采样的。如果您尝试很好地获取这两个pdf的KL/JS散度的导数,则不能。这是因为这两个差异将是一个二进制指示符函数(相等或不相等),并且我们不能采用这些函数的导数。但是,如果我们使用Wasserstein损失或地球移动距离,则可以采用它,因为我们将其近似为空间上两点之间的距离。 简介:如果分布有重叠,则正常GAN损失函数是连续的,否则是离散的。

  • 希望这可以帮助

    关于python - Wasserstein GAN的训练稳定性,我们在Stack Overflow上找到一个类似的问题:https://stackoverflow.com/questions/61066012/

    10-11 17:58