Intuition

Revolution

由于天敌的捕食,枯叶蝶尝试着让自己变成树叶的样子,同时天敌对枯叶蝶的识别能力不断增强,枯叶蝶才不断变得像真正的树叶,这其实体现的就是枯叶蝶和天敌之间的对抗(Adversarial)

我们设想以下最终可能达到的状态,一种可能是天敌的识别能力变得特别高,以致于没有一只枯叶蝶能逃过它们的火眼金睛;还有一种可能是枯叶蝶的伪装能力不断提高,最终达到能够以假乱真的地步

这可能对应着对抗网络的两个方向

  1. 增强分类器的准确度
  2. 用于样本生成

Concept of Divergence

正如论文作者说的那样,The promise of deep learning is to discover rich, hierarchical models that represent probability distributions over the kinds of data

深度学习的目标是为了找到数据的某种概率分布,基于这一思想,就有了divergence这一概念,这被用来刻画两种分布之间的相似性,生成任务也就是要找到与数据的总体分布相似的分布,也就是要最小化divergence

Generator&Discriminator

枯叶蝶视为Generator,其任务就是map formulaic distribution(Gussian Distribution) to distribution over the given data

天敌视为Discriminator,其任务是尽可能地准确识别藏在真样本中的假样本

Discriminating Model

可以使用CNN等分类器构建Discriminator,网络结构比较简单

Generating Model

之前讲到DL的目标是找到两个distribution 之间的map,Generator 可以是从Gussian Noise到图像的map,这似乎听起来非常不可思议,我们竟然能从Noise当中提取出有用的特征,最后生成图像,但是已知两个distribution 的samples,神经网络确实可以找到这两者之间的联系

从特征恢复到图像,这是一个上采样的过程,可以通过转置卷积(Transpose Conv)实现

图像生成网络(基于DCGAN)

图像生成网络(基于DCGAN)