VAE：
VAE中重参数化技巧_我会像蜗牛一样努力的博客-CSDN博客_重参数化技巧
GAN: “adversarial training is the coolest thing since sliced bread”
交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离） - 知乎 (zhihu.com)
令人拍案叫绝的Wasserstein GAN - 知乎 (zhihu.com) WGAN牛逼YYDS【第四部分：从Wasserstein距离到WGAN 没有细看】
这样看上去，GAN好暴力啊，qwq
变分自编码器和传统的编码器的不同
1、常规的自编码器的主要目的在于对输入进行重构，并且能够学习到输入的某种无监督的表征。 作用有可以做特征提取、数据降维。
2、VAE的主要作用不在于对输入做重构，而在于和gan类似产生一个可以“无中生有”的网络结构。
传统的GAN：存在着训练困难、生成器和判别器的loss无法指示训练进程【好像是Loss不连续的原因】、生成样本缺乏多样性等问题
DCGAN：最有名的一个改进DCGAN依靠的是对判别器和生成器的架构进行实验枚举，最终找到一组比较好的网络架构设置，但是实际上是治标不治本，没有彻底解决问题。
WGAN：
- 彻底解决GAN训练不稳定的问题，不再需要小心平衡生成器和判别器的训练程度
- 基本解决了collapse mode的问题，确保了生成样本的多样性
- 训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程，这个数值越小代表GAN训练得越好，代表生成器产生的图像质量越高（如题图所示）
- 以上一切好处不需要精心设计的网络架构，最简单的多层全连接网络就可以做到