Shiyu

Shiyu

ICCV 2017

paper code

CycleGAN、DualGAN、DiscoGAN孪生三兄弟

motivation

  • cGAN用于cross-domain的image-to-image translation（需要pairs）
  • dual learning from natural language translation （同时训练两个相反的语言翻译器French-to-English和English-to-French）

contribution

  • 在2个domain上的两个unlabel图像集上训练。general-purpose：不需要domain-specific的信息和pre-trained domain表征。
  • 与在全标注的书记上训练的cGAN有comparable results

CycleGAN

CoGAN（Coupled generative adversarial networks）：也是不需要paired数据训练两个GAN，但这两个GAN没有cycle consistency约束。learns a joint distribution over images from two domains. 对2个G和2个D在高层语义上共享权重。但这样就使该方法不能得到general-purpose的方案。

method

segmentation，stylization，abstraction都可以视为image-to-image translation的任务。用FCNs而不是LSTM或者GRU。

primal task：$G_A: U\rightarrow V$

dual task: $G_B: V \rightarrow U$

上面的$z$是随机噪声。

用了WGAN提升训练的稳定性。

（感觉好像cycleGAN，除了这个WGAN），作者是这么说的：

training details

依照WGAN的训练，先把判别器训练$n_{critic}$次，再训练一次生成器。用RMSProp（基于动量的adam优化器会导致训练不稳定）

experiments