深度学习9787111752691

序

前言

主要符号表

第1章　引言 1

1.1　深度学习的起源与发展 1

1.1.1　深度学习的起源 1

1.1.2　深度学习的发展 2

1.2　深度学习与机器学习、人工智能的关系 4

1.2.1　人工智能 4

1.2.2　机器学习 4

1.2.3　深度学习 5

1.3　深度学习的基本概念和典型算法 6

1.3.1　深度学习的基本概念 6

1.3.2　典型深度学习算法 6

1.4　深度学习的主要应用概述 12

1.4.1　深度学习在计算机视觉领域的应用 12

1.4.2　深度学习在语音处理领域的应用 13

1.4.3　深度学习在自然语言处理领域的应用 14

1.4.4　深度学习在多模态处理领域的应用 14

1.5　本书的组织结构 14

复习题 15

参考文献 15

本章人物：Geoffrey Hinton教授 18

第2章　卷积神经网络 19

2.1　卷积神经网络的起源与发展 19

2.1.1　卷积神经网络的起源 19

2.1.2　卷积神经网络的发展 20

2.2　卷积神经网络的基本结构 21

2.2.1　卷积层 21

2.2.2　激活函数 26

2.2.3　池化层 30

2.2.4　全连接层 30

2.2.5　输出层 30

2.3　卷积神经网络的训练 31

2.3.1　卷积神经网络的训练过程 31

2.3.2　池化层的训练 31

2.3.3　卷积层的训练 33

2.4　典型卷积神经网络 35

2.4.1　LeNet-5 35

2.4.2　AlexNet 37

2.4.3　VGGNet 39

2.4.4　GoogleNet 41

2.4.5　ResNet 42

2.5　卷积神经网络的主要应用 43

2.5.1　目标检测 43

2.5.2　图像分割 52

2.5.3　姿态估计 56

2.5.4　人脸识别 58

复习题 62

实验题 62

参考文献 63

本章人物：Yann LeCun教授 65

第3章　循环神经网络 66

3.1　循环神经网络的起源与发展 66

3.2　循环神经网络的训练 67

3.3　长短期记忆网络 70

3.4　循环神经网络的变种 73

3.4.1　GRU 73

3.4.2　双向RNN 75

3.4.3　堆叠RNN 75

3.5　循环神经网络的典型应用 76

3.5.1　语言模型 76

3.5.2　自动文本摘要 79

3.5.3　机器阅读理解 82

复习题 85

实验题 86

参考文献 86

本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90

4.1　注意力机制 90

4.1.1　注意力机制的Encoder-Decoder结构 90

4.1.2　注意力机制的分类 92

4.2　Transformer概述 93

4.2.1　Transformer的结构 93

4.2.2　Transformer的输入编码 94

4.2.3　Transformer中的自注意力机制 95

4.2.4　Transformer中的其他细节 98

4.2.5　基于Transformer的大规模预训练模型 99

4.3　GPT系列模型 99

4.3.1　GPT-1 99

4.3.2　GPT-2 101

4.3.3　GPT-3 102

4.3.4　InstructGPT和ChatGPT 103

4.4　BERT系列模型 104

4.4.1　与其他大规模预训练模型的区别 105

4.4.2　BERT的架构与参数 105

4.4.3　BERT的输入表示 105

4.4.4　BERT的训练 107

4.4.5　BERT的变种 107

4.5　Swin Transformer 109

4.5.1　Swin Transformer的提出 109

4.5.2　Swin Transformer结构 109

4.5.3　Swin Transformer的滑动窗口机制 111

4.6　Transformer的主要应用 112

4.6.1　自然语言处理领域 112

4.6.2　计算机视觉领域 117

4.6.3　多模态领域 121

复习题 128

实验题 128

参考文献 128

本章人物：Yoshua Bengio教授 131

第5章　生成对抗网络 132

5.1　GAN的基本原理 132

5.1.1　零和博弈 132

5.1.2　GAN的基本结构 133

5.1.3　GAN的目标函数 134

5.1.4　GAN的训练 134

5.2　GAN的优化与改进 135

5.2.1　限定条件优化 136

5.2.2　迭代式生成优化 138

5.2.3　结构优化 141

5.3　GAN的主要应用 143

5.3.1　图像生成 143

5.3.2　图像转换 144

5.3.3　图像超分辨率重建 147

5.3.4　音乐生成 148

5.3.5　异常检测 152

复习题 156

实验题 156

参考文献 156

本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159

6.1　深度生成模型概述 159

6.2　Hopfield神经网络 160

6.3　玻尔兹曼机与受限玻尔兹曼机 162

6.3.1　玻尔兹曼机 162

6.3.2　受限玻尔兹曼机 163

6.4　Sigmoid信念网络与深度信念网络 165

6.4.1　Sigmoid信念网络 165

6.4.2　深度信念网络 166

6.5　深度玻尔兹曼机 167

6.6　自编码器及其变种 169

6.6.1　自编码器 169

6.6.2　降噪自编码器 170

6.6.3　稀疏自编码器 170

6.6.4　深度自编码器 171

6.7　扩散模型 172

6.7.1　前向过程 173

6.7.2　逆向过程 174

6.7.3　DDPM的训练 176

6.8　深度生成模型的应用 178

复习题 179

实验题 179

参考文献 179

本章人物：David E.Rumelhart教授 181

第7章　正则化与优化 182

7.1　深度学习模型的训练与测试 182

7.1.1　深度学习中的数据集划分 182

7.1.2　过拟合与欠拟合 183

7.1.3　偏差、方差、噪声与泛化误差 183

7.1.4　深度学习模型的训练与测试过程 187

7.2　参数范数正则化 187

7.2.1　L1参数正则化 188

7.2.2　L2正则化 188

7.3　数据增强 188

7.4　Bagging 190

7.5　提前终止 191

7.6　Dropout 193

7.7　归一化 195

7.7.1　机器学习中的归一化 195

7.7.2　深度学习中的归一化 196

7.8　优化算法 199

7.8.1　梯度下降法 199

7.8.2　基于动量的方法 202

复习题 204

实验题 205

参考文献 205

本章人物：Ilya Sutskever博士 206

第8章　深度学习框架 207

8.1　深度学习框架概述 207

8.2　TensorFlow 208

8.2.1　TensorFlow简介 208

8.2.2　TensorFlow的主要功能 208

8.2.3　TensorFlow编程示例 209

8.3　PyTorch 213

8.3.1　PyTorch简介 213

8.3.2　PyTorch的主要功能 214

8.3.3　PyTorch编程示例 215

8.4　飞桨 218

8.4.1　飞桨简介 218

8.4.2　飞桨的主要功能 219

8.4.3　飞桨编程示例 219

复习题 222

参考文献 222

本章人物：吴恩达教授 223

附录A　数学基础 224

附录B　中英文术语对照 236

本书共8章，详细介绍了深度学习的基本原理、核心技术以及实践技能。第1章介绍了深度学习的基本概念、典型算法及应用；第2-5章是本书的核心内容，详细介绍了卷积神经网络、循环神经网络、Transformer和生成对抗网络的相关知识；第6章介绍了一些典型的深度生成模型以及近期比较流行的扩散模型；第7章介绍了深度学习中常用的正则化与优化方法；第8章介绍了TensorFlow、PyTorch和飞桨三个常用的深度学习框架。