这里简短地谈一下如题的三篇论文:

参考:https://blog.csdn.net/gdymind/article/details/82696481

(1)pix2pix:从一张图片生成另一张图片

pipeline如下,其中generator为U-net;

pix2pix&Cycle GAN&pix2pix HD-LMLPHP

(2)Cycle GAN:pix2pix需要成对图片训练,CycleGAN解决了这个问题,可以不成对,但要同类!

pipeline如下:

pix2pix&Cycle GAN&pix2pix HD-LMLPHP

pix2pix&Cycle GAN&pix2pix HD-LMLPHP

(3)pix2pix HD

参考:https://www.jianshu.com/p/eb29a264c71a

pipeline如下,

pix2pix&Cycle GAN&pix2pix HD-LMLPHP

上图的Image generator network G具体结构如下:

pix2pix&Cycle GAN&pix2pix HD-LMLPHP

总的流程:输入原始低分辨率RGB图像,一方面先获得它的Labels(semantic labels语义标签 + 对应的Boundary label),另一方面输入经过一个Encoder得到特征图后根据Labels做average pooling获得instance-wise feature map,然后两者一起输入进G中进行生成,生成器由两部分组成,G1和G2,其中G2又被割裂成两个部分。G1和pix2pix的生成器没有差别,就是一个end2end的U-Net结构。G2的左半部分提取特征,并和G1的输出层的前一层特征进行相加融合信息,把融合后的信息送入G2的后半部分输出高分辨率图像。判别器使用多尺度判别器,在三个不同的尺度上进行判别并对结果取平均。判别的三个尺度为:原图,原图的1/2降采样,原图的1/4降采样。显然,越粗糙的尺度感受野越大,越关注全局一致性。

pix2pix&Cycle GAN&pix2pix HD-LMLPHP(Labels)

05-27 13:57