深入浅出GAN生成对抗网络 原理剖析与TensorFlow实践

图书标准信息

• 作者 廖茂文； 潘志宏
• 出版社 人民邮电出版社
• 出版时间 2020-06
• 版次 1
• ISBN 9787115517951
• 定价 99.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 480页
• 字数 1千字

【内容简介】

本书首先从Python 基本语法开始讨论，逐步介绍必备的数学知识与神经网络的基本知识，并利用讨论的内容编写一个深度学习框架TensorPy，有了这些知识作为铺垫后，就开始讨论生成对抗网络（GAN）相关的内容。然后，本书使用比较简单的语言来描述GAN 涉及的思想、模型与数学原理，接着便通过TensorFlow实现传统的GAN，并讨论为何一定需要生成器或判别器。接下来，重点介绍GAN 各种常见的变体，包括卷积生成对抗网络、条件对抗生成网络、循环一致性、改进生成对抗网络、渐近增强式生成对抗网络等内容。 本书从模型与数学的角度来理解GAN 变体，希望通过数学符号表达出不同GAN 变体的核心思想，适合人工智能、机器学习、计算机视觉相关专业的人员学习使用。

【作者简介】

廖茂文：游戏AI研究员、高级工程师、中国人工智能学会高级会员。研究兴趣为自然语言处理、生成对抗网络、游戏AI，曾参与多项机器学习项目。 潘志宏：高级工程师，中山大学新华学院“百名骨干教师”，中国人工智能学会高级会员、中国计算机学会会员。研究兴趣为机器学习、深度学习、物联网。主持和参与省市级、校级项目10余项，其中主持广东省普通高校青年创新人才项目、教育部产学合作协同育人项目各一项。发表论文18篇，其中SCI、EI、北大核心期刊12篇，第一作者论文获得北大核心期刊优秀论文、东莞市计算机学会优秀论文。申请发明专利、实用新型专利共8项，其中已授权3项，获得软件著作权3项，已出版教材3部。指导学生获得国家级和省级竞赛奖项50余项，多次获得国家级和省级优秀指导教师奖。

【目录】

第 1 章 优雅Python 1

1.1　Anaconda　1

1.2　Python 基础　4

1.2.1　常用数据类型　5

1.2.2　流程控制　7

1.2.3　函数定义　8

1.3　Python 进阶　8

1.3.1　生成式　9

1.3.2　可迭代对象与迭代器　9

1.3.3　生成器　11

1.3.4　装饰器　11

1.4　小结　13

第　2 章 优雅的数学　14

2.1　向量与矩阵　14

2.1.1　向量的概念　14

2.1.2　向量的基本运算　15

2.1.3　矩阵的概念　17

2.1.4　矩阵的运算　19

2.2　微积分　24

2.2.1　圆的面积　24

2.2.2　古典微积分　25

2.2.3　重建微积分　28

2.2.4　常用的公式　29

2.2.5　偏导数　31

2.2.6　方向导数　31

2.2.7　链式法则　33

2.3　概率论　34

2.3.1　随机变量　34

2.3.2　条件概率　36

2.3.3　贝叶斯定理　38

2.3.4　常见的概率分布　39

2.4　信息论　41

2.4.1　信息熵　41

2.4.2　条件熵　43

2.4.3　互信息　43

2.4.4　相对熵（KL 散度）　44

2.4.5　交叉熵　45

2.5　小结　46

第3　章 初识神经网络　47

3.1　什么是神经网络　47

3.1.1　神经网络的历史　47

3.1.2　神经网络的优势　54

3.2　神经网络中常见的概念　55

3.2.1　前向传播算法　55

3.2.2　损失函数　57

3.2.3　梯度下降算法　58

3.2.4　各种梯度下降算法　63

3.2.5　反向传播算法　67

3.2.6　过拟合与欠拟合　70

3.3　动手实现深度学习框架TensorPy　71

3.3.1　实现计算图　71

3.3.2　实现Session 对象　74

3.3.3　实现感知器前向传播算法　76

3.3.4　实现对数损失　79

3.3.5　实现梯度下降算法与反向传播算法　81

3.3.6　实现多层感知器　86

3.4　TensorFlow 简介　89

3.4.1　TensorFlow 安装与介绍　89

3.4.2　TensorFlow 基本概念　90

3.4.3　TensorFlow 实现多层感知器　91

3.4.4　TensorBoard 可视化　93

3.4.5　TensorFlow 模型保存方法　98

3.5　小结　99

第4　章 初识生成对抗网络　101

4.1　什么是生成对抗网络　101

4.1.1　什么是GAN　101

4.1.2　GAN 使用范围　103

4.2　GAN 基本原理　104

4.2.1　GAN 模型详情　104

4.2.2　对抗的本质　106

4.3　TensorFlow 实现朴素GAN　108

4.3.1　朴素GAN 生成MNIST

数据集　108

4.3.2　训练与效果展示　114

4.4　关于GAN 的几个问题　117

4.4.1　为什么生成器G 生成数据需要判别器D 介入　117

4.4.2　为什么判别器D 不自己

生成数据　120

4.4.3　为什么选择GAN　121

4.5　小结　122

第5　章 生成对抗网络的数学原理　123

5.1　拟合真实分布　123

5.1.1　最大似然估计　123

5.1.2　最大似然估计拟合分布　125

5.1.3　最大似然估计与KL散度的关系　126

5.2　生成对抗网络　127

5.2.1　生成器拟合分布　127

5.2.2　判别器计算分布的差异　128

5.2.3　GAN 的数学推导　129

5.2.4　GAN 的本质　131

5.3　统一框架F-GAN　134

5.3.1　f 散度　134

5.3.2　凸共轭　137

5.3.3　f 散度与GAN 之间的关系　138

5.4　GAN 训练过程可视化　139

5.5　小结　144

第6　章 卷积生成对抗网络　145

6.1　初识卷积神经网络　145

6.1.1　什么是卷积神经网络　145

6.1.2　CNN 识别图像过程　147

6.1.3　CNN 核心概念　151

6.2　TensorFlow 实现卷积网络　154

6.2.1　构建CNN 计算图　154

6.2.2　训练CNN 网络　160

6.2.3　Dropout 操作　161

6.2.4　DCGAN：CNN 与GAN

有机结合　162

6.2.5　Batch Normalization　164

6.3　TensorFlow 实现DCGAN 网络　166

6.3.1　TensorFlow 实现DCGAN 的生成器 .167

6.3.2　TensorFlow 实现DCGAN 的

判别器　170

6.3.3　获得测试样例　171

6.3.4　构建DCGAN 整体　172

6.3.5　训练DCGAN　173

6.3.6　RussellCould 使用　179

6.3.7　结果展示　185

6.4　小结　189

第7　章 条件对抗生成网络　190

7.1　如何实现图像间风格转换　190

7.1.1　传统神经网络的缺陷　190

7.1.2　普通GAN 的缺陷　191

7.2　条件对抗生成网络　192

7.2.1　GAN 详解　192

7.2.2　CGAN 训练流程　193

7.3　ColorGAN 的实现　194

7.3.1　生成器与判别器的构建　194

7.3.2　图像数据预处理　197

7.3.3　ColorGAN 训练学习　200

7.3.4　ColorGAN 训练结果　203

7.3.5　图像转图像的讨论　208

7.4　实现文字转图像　209

7.4.1　独热向量　209

7.4.2　fashion-mnist 数据集　210

7.4.3　FashionCGAN 判别器和生成器　211

7.4.4　训练FashionCGAN　213

7.5　实现句子转图像　215

7.5.1　word2vec 技术　215

7.5.2　RNN、LSTM 与GRU　218

7.5.3　Skip-Thought Vector　223

7.5.4　实现Skip-Thought　226

7.5.5　实现句子转图像　234

7.6　小结　237

第8　章 循环一致性　238

8.1　以无监督的方式实现风格转换　238

8.2　CycleGAN　240

8.2.1　CycleGAN 的架构与目标函数　241

8.2.2　CycleGAN 做的改变　243

8.2.3　TensorFlow 实现CycleGAN生成器与判别器　251

8.2.4　TensorFlow 搭建与训练CycleGAN　254

8.2.5　效果展示　258

8.3　StarGAN　262

8.3.1　StarGAN 的结构与目标函数　262

8.3.2　TensorFlow 构建StarGAN模型　265

8.3.3　构建StarGAN 的损失　268

8.3.4　效果展示　272

8.4　语义样式不变的图像跨域转换　275

8.4.1　Domain Transfer Network介绍　276

8.4.2　DTN 代码结构　278

8.4.3　XGAN 介绍　283

8.5　小结　287

第9　章 改进生成对抗网络　289

9.1　传统GAN 存在的问题　289

9.1.1　梯度消失　289

9.1.2　模式崩溃　293

9.2　Wasserstein GAN　295

9.2.1　EM 距离　295

9.2.2　EM 距离使用在GAN 上　298

9.2.3　EM 距离与判别器的关系　299

9.2.4　TensorFlow 实现WGAN　302

9.3　Improved WGAN（WGAN-GP）　306

9.3.1　WGAN 存在的问题　306

9.3.2　gradient penalty　308

9.3.3　TensorFlow 实现WGAN-GP　310

9.4　SN-GAN　314

9.4.1　SN-GAN 介绍　314

9.4.2　Spectral Normalization方法与SN-GAN　315

9.4.3　TensorFlow 实现SNGAN　321

9.5　小结　326

第　10 章 渐近增强式生成对抗网络　327

10.1　堆叠式生成对抗网络StackGAN　327

10.1.1　StackGAN-v1　327

10.1.2　棋盘效应　330

10.1.3　StackGAN-v2　333

10.1.4　TensorFlow 实现StackGAN-v2　335

10.2　TensorFlow 数据处理　348

10.2.1　placeholder 读取数据　348

10.2.2　Queue 方式读取数据　348

10.2.3　tf.data 读取数据　353

10.3　渐近增长生成对抗网络PGGAN .

10.3.1　PGGAN 介绍　355

10.3.2　PGGAN 的改进点　356

10.3.3　TensorFlow 实现PGGAN　361

10.4　小结　369

第　11 章 GAN 进行特征学习　370

11.1　近似推断　370

11.1.1　变分推断思想　371

11.1.2　平均场　372

11.2　InfoGAN　375

11.2.1　数据特征与互信息　376

11.2.2　InfoGAN 数学原理与模型结构　377

11.2.3　TensorFlow 实现InfoGAN　381

11.2.4　使用InfoGAN 生成图像　385

11.3　VAE-GAN　390

11.3.1　AutoEncoder 自编码器　390

11.3.2　变分自编码器　392

11.3.3　数学角度看VAE　394

11.3.4　TensorFlow 实现VAE　400

11.3.5　VAE 与GAN 的结合体VAE-GAN　405

11.3.6　TensorFlow 实现VAE-GAN　407

11.4　小结　414

第　12 章 GAN 在NLP 中的运用　415

12.1　GAN 在文本生成中遇到的境　415

12.2　GAN 生成离散数据的方法　418

12.2.1　判别器直接获取生成器的输出　418

12.2.2　Gumbel-softmax　420

12.3　强化学习简述　422

12.3.1　强化学习算法　423

12.3.2　Policy Gradient　424

12.3.3　GAN RL 作用于文本生成　428

12.3　SeqGAN　429

12.3.1　SeqGAN 结构与算法　429

12.3.2　Highway Network　432

12.3.3　SeqGAM 生成器与rollout结构的实现　434

12.3.4　SeqGAN 中目标LSTM 与判别器的实现　445

12.3.5　SeqGAN 中生成器与判别器预训练　453

12.3.6　SeqGAN 对抗训练　459

12.4　MaskGAN　461

12.4.1　MaskGAN 结构与算法　461

12.4.2　TensorFlow 实现MaskGAN 的生成器与判别器　465

12.4.3　TensorFlow 实现MaskGAN 的Actor-Critic 与目标函数　472

12.4.4　TensorFlow 实现MaskGAN 的结构与训练逻辑　476

12.5　小结　480