GAN_李弘毅讲解：
上式中，x从data中sample的一部分，现在的目的就是最大化这个似然函数，使得Generator最可能产生data中的这些sample；
上式中之所以如此设计V函数，是为了后面与KL以及cross entropy结合起来；
问题一：上图存在的一个问题：G迭代的过多造成G1下的D*得到的两种数据的分布差异更大了；
使用优化在前期的话由于梯度较小，学习较慢，所以改为了下面那种形式；
问题二：由于采用JSD距离，可以发现当data与G产生的数据没有重叠时，两者的距离始终为log2，当两者离得更近时依然如此，这样子当train的时候Loss不变就没有动力进行训练；下面有一种改善方法：
如上所示：加入噪声，使得两个分布之间有overlap，使得可以产生JSD进行训练，同时保证Loss随着训练不断下降；
问题三：G产生的数据与data之间形成了一种“猫捉老鼠“的游戏，下图是一种解决方式，暂时还没看懂；
GAN的一些发展：