深度学习案例精粹

本书主要讲述了深度学习中的重要概念和技术，并展示了如何使用TensorFlow实现高级机器学习算法和神经网络。本书首先介绍了数据科学和机器学习中的基本概念，然后讲述如何使用TensorFlow训练深度学习模型，以及如何通过训练深度前馈神经网络对数字进行分类，如何通过深度学习架构解决计算机视觉、语言处理、语义分析等方面的实际问题，*后讨论了高级的深度学习模型，如生成对抗网络及其应用。

艾哈迈德·曼肖伊（Ahmed Menshawy）是爱尔兰都柏林三一学院的研究工程师。他在机器学习和自然语言处理领域拥有超过5年的工作经验，并拥有计算机科学硕士学位。他曾在埃及开罗阿勒旺大学（Helwan University）计算机科学系做教学助理，负责机器学习和自然语言处理课程，如机器学习、图像处理等，并参与设计了阿拉伯文字到语音的系统。此外，他还是埃及的IST Networks工业研发实验室的机器学习专家。

第 1章 数据科学——鸟瞰全景 1

1.1　通过示例了解数据科学　2

1.2　设计数据科学算法的流程　7

1.2.1　数据预处理　8

1.2.2　特征选择　8

1.2.3　模型选择　9

1.2.4　学习过程　9

1.2.5　评估模型　9

1.3　开始学习　10

1.4　实现鱼类识别/检测模型　12

1.4.1　知识库/数据集　12

1.4.2　数据分析预处理　14

1.4.3　搭建模型　17

1.5　不同学习类型　22

1.5.1　监督学习　22

1.5.2　无监督学习　23

1.5.3　半监督学习　24

1.5.4　强化学习　24

1.6　数据量和行业需求　25

1.7　总结　25

第　2章 数据建模实战——“泰坦尼克号”示例　27

2.1　线性回归模型　27

2.1.1　原因　28

2.1.2　广告—— 一个财务方面的例子　28

2.2　线性分类模型　36

2.3　“泰坦尼克号”示例——建立和训练模型　38

2.3.1　数据处理和可视化　39

2.3.2　数据分析——监督机器学习　44

2.4　不同类型的误差解析　47

2.5　表现（训练集）误差　47

2.6　泛化/真实误差　48

2.7　总结　48

第3章　特征工程与模型复杂性——重温“泰坦尼克号”示例　49

3.1　特征工程　49

3.1.1　特征工程的类型　50

3.1.2　重温“泰坦尼克号”示例　51

3.2　维度灾难　62

3.3　重温“泰坦尼克号”示例——融会贯通　64

3.4　偏差-方差分解　78

3.5　学习可见性　80

3.6　总结　80

第4章　TensorFlow入门实战　82

4.1　安装TensorFlow　82

4.1.1　在Ubuntu 16.04系统上安装GPU版的TensorFlow　83

4.1.2　在Ubuntu 16.04系统上安装CPU版的TensorFlow　86

4.1.3　在Mac OS X上安装CPU版的TensorFlow　88

4.1.4　在Windows系统上安装CPU/GPU版的TensorFlow　88

4.2　TensorFlow运行环境　89

4.3　计算图　90

4.4　TensorFlow中的数据类型、变量、占位符　91

4.4.1　变量　91

4.4.2　占位符　92

4.4.3　数学运算　92

4.5　获取TensorFlow的输出　94

4.6　TensorBoard——可视化学习过程　95

4.7　总结　101

第5章　TensorFlow基础示例实战　102

5.1　神经元的结构　102

5.2　激活函数　104

5.2.1　sigmoid　105

5.2.2　tanh　105

5.2.3　ReLU　105

5.3　前馈神经网络　106

5.4　需要多层网络的原因　107

5.4.1　训练MLP——反向传播算法　108

5.4.2　前馈传播　109

5.4.3　反向传播和权值更新　110

5.5　TensorFlow术语回顾　110

5.5.1　使用Tensorflow定义多维数组　112

5.5.2　为什么使用张量　114

5.5.3　变量　115

5.5.4　占位符　116

5.5.5　操作　117

5.6　构建与训练线性回归模型　118

5.7　构建与训练逻辑回归模型　123

5.8　总结　130

第6章　深度前馈神经网络——实现数字分类　131

6.1　隐藏单元与架构设计　131

6.2　MNIST数据集分析　133

6.3　数字分类——构建与训练模型　135

6.3.1　分析数据　137

6.3.2　构建模型　140

6.3.3　训练模型　144

6.4　总结　148

第7章　卷积神经网络　149

7.1　卷积运算　149

7.2　动机　152

7.3　CNN的不同层　153

7.3.1　输入层　153

7.3.2　卷积步骤　154

7.3.3　引入非线性　155

7.3.4　池化步骤　156

7.3.5　全连接层　157

7.4　CNN基础示例——MNIST手写数字分类　159

7.4.1　构建模型　162

7.4.2　训练模型　167

7.5　总结　174

第8章　目标检测——CIFAR-10示例　175

8.1　目标检测　175

8.2　CIFAR-10目标图像检测——构建与训练模型　176

8.2.1　使用软件包　176

8.2.2　加载CIFAR-10数据集　177

8.2.3　数据分析与预处理　178

8.2.4　建立网络　183

8.2.5　训练模型　186

8.2.6　测试模型　191

8.3　总结　195

第9章　目标检测——CNN迁移学习　196

9.1　迁移学习　196

9.1.1　迁移学习背后的直觉　197

9.1.2　传统机器学习与迁移学习之间的不同　198

9.2　CIFAR-10目标检测——回顾　199

9.2.1　解决方案大纲　199

9.2.2　加载和探索CIFAR-10数据集　200

9.2.3　inception模型迁移值　204

9.2.4　迁移值分析　207

9.2.5　模型构建与训练　211

9.3　总结　219

第　10章 循环神经网络——语言模型　220

10.1　RNN的直观解释　220

10.1.1　RNN的架构　221

10.1.2　RNN的示例　222

10.1.3　梯度消失问题　224

10.1.4　长期依赖问题　225

10.2　LSTM网络　226

10.3　语言模型的实现　227

10.3.1　生成训练的*小批　230

10.3.2　构建模型　232

10.3.3　训练模型　238

10.4　总结　243

第　11章 表示学习——实现词嵌入　244

11.1　表示学习简介　244

11.2　Word2Vec　245

11.3　skip-gram架构的一个实际例子　248

11.4　实现skip-gram Word2Vec　250

11.4.1　数据分析与预处理　251

11.4.2　构建模型　257

11.4.3　训练模型　259

11.5　总结　264

第　12章 神经网络在情感分析中的应用　265

12.1　常用的情感分析模型　265

12.1.1　RNN——情感分析背景　267

12.1.2　梯度爆炸与梯度消失——回顾　269

12.2　情感分析——模型实现　270

12.2.1　Keras　270

12.2.2　数据分析与预处理　271

12.2.3　构建模型　282

12.2.4　模型训练和结果分析　284

12.3　总结　288

第　13章 自动编码器——特征提取和降噪　289

13.1　自动编码器简介　289

13.2　自动编码器的示例　290

13.3　自动编码器架构　291

13.4　压缩MNIST数据集　292

13.4.1　MNIST数据集　292

13.4.2　构建模型　293

13.4.3　训练模型　295

13.5　卷积自动编码器　297

13.5.1　数据集　297

13.5.2　构建模型　299

13.5.3　训练模型　301

13.6　降噪自动编码器　304

13.6.1　构建模型　305

13.6.2　训练模型　307

13.7　自动编码器的应用　310

13.7.1　图像着色　310

13.7.2　更多的应用　311

13.8　总结　311

第　14章 生成对抗网络　312

14.1　直观介绍　312

14.2　GAN的简单实现　313

14.2.1　模型输入　315

14.2.2　变量作用域　316

14.2.3　Leaky ReLU　316

14.2.4　生成器　317

14.2.5　判别器　318

14.2.6　构建GAN网络　319

14.2.7　训练模型　322

14.2.8　从生成器中采样　327

14.3　总结　328

第　15章 面部生成与标签缺失处理　329

15.1　面部生成　329

15.1.1　获取数据　330

15.1.2　探讨数据集　331

15.1.3　构建模型　332

15.2　用生成对抗网络进行半监督学习　340

15.2.1　直观解释　340

15.2.2　数据分析与预处理　341

15.2.3　构建模型　345

15.3　总结　359

附录A　实现鱼类识别　360

深度学习是机器学习中的一个流行子集，能够帮助用户更快速地构建复杂模型，并提供更准确的预测。《深度学习案例精粹》将带领读者进入深度学习的世界，通过实际操作示例来加深理解。 1.《深度学习案例精粹》语言简练，通过问题简述、方法概括及代码，让读者可以尽快理解并上手深度学习的算法。 2.《深度学习案例精粹》给出的代码非常详细，可以直接运行，可以为急于将深度学习应用于实际项目的工程师提供有力帮助，读者可至异步社区下载源代码及彩图文件。 3.《深度学习案例精粹》涵盖了大多数的主流深度学习任务，包括图像领域的图像识别、目标检测任务，自然语言处理中的词嵌入、情感分析任务，以及无监督学习任务等。还介绍了几个深度学习的经典模型，当下深度学习的大多数模型都是在这些基础模型上的改进与组合，不同领域的从业人员或多或少都能从中获得启发。 4.《深度学习案例精粹》使用目前广泛应用的深度学习框架之一—TensorFlow以及非常流行的Python语言进行代码示例，想要进一步学习的读者将会有极多的社区资源。