深度学习·GAN系列

GAN

损失函数

模式崩溃：mode collapse

多样性降低，生成器倾向于生成特定分布的特征。

BCE损失的问题 / 生成器和判别器学习不平衡

• 判别器只需要输出0-1标签，任务比生成器简单
• 一开始生成器可以受到判别器的梯度，但是后面判别器的输出接近标签，导致生成器学习不到任何表示。
• 最后的结果，判别器过拟合，预测完全正确；生成器没有任何反馈，无法更新。双方的梯度都消失了

WGAN-GP

W-loss损失

条件

判别器的网络损失满足1-L 连续性性质
网络损失的增长是线性的。

强制执行1-L 连续性性质

• 软约束：使用正则化，平方乘法梯度范数>1的情况
• 注意：不能对所有图像都应用这个惩罚(太慢)，适当选择真实和生成图像进行合成，然后检查这个梯度即可。
  

Conditional GAN

• 生成所需类别的图像
• 将类别标签y拼接到z-向量上

损失函数

• 现在z是给定y的情况下：实际上是将标签向量与z拼接在一起
  

对于这种数据，只需要将标签作为新的特征加入到原始特征中的最后一列即可，相当于原始特征有n个，新的特征为n+1个。

条件GAN

控制生成

• 旋转z向量(在z-space中)
• 寻找方向
• 应用方向
  

挑战

• 特性高度相关
  

P2P GAN

配对图像翻译

判别器：PatchGAN

• 生成器接受一对输入，包括原图，目标图像/GT，然后生成一个patch矩阵，对于每一个patch矩阵的真实性都进行预测(W-loss/BCE)。
  
  

生成器

• 给定一个原图，产生目标图像
  

损失函数

应用

• 风格迁移
• 图像翻译

CycleGAN

适用于无配对图像翻译任务。
动机：斑马(Z),马(H)，Z->H->Z’, Z = Z’

• 基本架构与P2P GAN一致，生成器是Unet变体，判别器仍然是PatchGAN。
• 有两组生成器和判别器。
  

损失函数

最小二乘损失

• 将BCE换成MSE
  

循环损失

• 损失函数更换为最小二乘损失
  

等价损失

• 对于生成器H，给定马的图像，生成的图像与原图像应该一致，不需要改变风格。