当前位置：首页 > news >正文

机器学习（李宏毅）——GAN

news 2025/8/26 12:16:43

一、前言

本文章作为学习2023年《李宏毅机器学习课程》的笔记，感谢台湾大学李宏毅教授的课程，respect！！！
不得不说GAN真是博大精深！

二、大纲

GAN问世
基本思想
原理剖析
Tips of GAN
GAN的应用
Cycle GAN
Evaluation of GAN

三、GAN问世

2014年Goodfellow 等人在《Generative Adversarial Networks》论文中首次提出了 GAN，随后各种各样的GAN百花齐放和发展，整个GAN的大家族网站：https://github.com/hindupuravinash/the-gan-zoo。

四、基本思想

GAN由两部分组成：Generator + Discriminator，简称为G和D。

Generator （生成器）
Discriminator（判别器）

精髓：G要想办法骗过D，D则是尽量挑出G假的内容，拟人化说法就是“对抗”。
举个例子：
G是屌丝，D是白富美，D心里择偶是有一杆称就是找个高富帅G’，下面就是屌丝伪装成高富帅的故事了：
第一次约会：G搞了个发型去见D，D说你衣品真差，黄了；
第二次约会：G买了套名牌西装去见D，D说你的车怎么是个共享自行车，黄了；
第三次约会：G租了一辆保驰捷911去见D，当然还搞了发型、穿了名牌西装，并说其实我一直都是高富帅，只不过家里在考验我的继承能力而已，并送出A货包包，D信了，于是两个人就在一起了。

从上面的例子看出，D每次都基于G的表现冒出一个标准，而G每次都按照D的标准重新纠正自己，反复进行下去，如果一方停下来，这场约会（“对抗”）也进行不下去了。

回归到图像生成这件事情上来：
具体步骤如下：

step1：固定G，得到输出的image（第一次都是噪点），输送给D，D根据看过的真实图片和G的假照片，训练出标准。D就像是分类器，要区分出来自G的data和real data。
step2：有了标准D后，接着将其固定，反过来更新G，使得G输出的image送入D，D越难区分出来越好。

反复上述步骤1和2进行下去，以上就是GAN的基本思想和步骤，总体的流程图如下：

五、原理剖析

Generator
Generator分为两种：
1、conditional （有额外条件的输入），有额外的x资讯。

2、unconditional（没有额外条件的输入），没有额外的x作为输入。

在这里插入图片描述
Generator原理剖析：
1、先看G的左边：有个Normal Distribution，是个简单的正态分布（当然也可以是其他易表达的distribution），G从这个分布中抽取样本向量。
其实Normal Distribution可以理解为就是一个初始化的简单空间，还可以输入额外的条件x进行限制。
2、再看G的右边：右边就是转换后复杂的distribution，要和real data的分布越接近越好。

那如何计算两个分布的距离呢？
常见的列举以下两种：

JS divergence
KL divergence

当然还有很多方法，我们姑且称之为divergence。
因此，我们G的目标就是要找到一组参数，使得divergence最小。
于是乎，目标函数写作：
在这里插入图片描述
那Divergence如何计算呢，实做中很难算，比较复杂，这也是GAN遇到的难题。

这里先怀揣的着这个问题先，继续往下看下Discriminator。

Discriminator

Discriminator 判别器的工作原理很直觉，就是看到PG给低分，看到Pdata给高分，合起来的分数越高越好，这就是它的目标。
在这里插入图片描述
于是可以写作：

说明：V目标函数要最大化，其和两个参数有关，就是G和D。

V（D，G）长啥样呢？
在这里插入图片描述
这里直接给出公式，有兴趣的可查阅资料进行推导理解。

公式转换
巧了，发现JS divergence和max V（D，G）是相关的。
于是乎：
在这里插入图片描述
回答了Generator中Divergence怎么算的问题，就是统一换到V的表达方式，V的表达式又已经有了，就可以实做了。

小结：
至此，GAN的基本思想、操作过程、公式都说完了，比较难理解的应该就是公式部分，需要动手推一推。

六、Tips of GAN

JS divergence并非是合适的衡量指标，为啥呢？
因为，PG和Pdata的Distribution都是一个局部的分布，无法诠释真正的分布是长啥样，也有可能PG和Pdata重叠的部分只是冰山一角而已，而JS Divergence只要是不重叠得到的输出值就是log2，这并不合理。
在这里插入图片描述
从上图，显然两个分布已经是慢慢接近了，但只要不重叠就一直输出是log2。
所以，有人就提出了Wasserstein distance方法。

Wasserstein distance
Wasserstein distance 来自于WGAN，其精髓思想就是把P分布推到Q分布的距离算出来。
在这里插入图片描述
但是，推过去的方法有很多种，所以这里采用穷举并取最小的d作为Wasserstein Distance。

这样更好看出Distance的变化。

那如何计算Wasserstein Distance呢？这里直接给出公式：
在这里插入图片描述
足够平滑这件事情，实际上是定范围，让参数介于（-C，C）区间，超过就clip，还有一种Improve WGAN，提出Gradient Penalty，连接两个概率分布，算斜率，要接近于1。

比较好的方法是Spectrial Normal。

七、GAN的应用

Conditional Generation

文生图
输入：需要成对的文、图资料，还要有正样本和负样本效果才会比较好，正样本包括文、图匹配，负样本包括文不配、图清晰和文不配、图噪点情况。
图生图
输入：同样需要成对的图、图。
supervised + GAN 效果比较好，为什么呢？GAN富想象力，常生出意料外部分，supervised比较刻板，能把GAN拉回来。
音生图
声音生成图像同样可以运作，x的条件输入换成声音即可。
Talking Head Generation
输入一张图片，生成gif图，这也是很牛的技术。

八、Cycle GAN

GAN的变种，可用于图片风格的转换。
基本思想就是，当没有成对的训练资料时候，加上一个还原的过程，如下图将真实世界人脸转为卡通风格，并且期望通过另外一个G能够将卡通世界图片还原至真实世界人脸图，这样的做法目的是为了让卡通风格像输出真实世界人脸图。
D则是树立了卡通风格的标准。
在这里插入图片描述
同样，还可以应用在文字风格转换。