深度学习快速实践：基于TensorFlow和Keras的深度神经网络优化与训练

图书标准信息

• 作者 [美]迈克·贝尼科（Mike Bernico） 著；王卫兵、田皓元、徐倩 译
• 出版社 机械工业出版社
• 出版时间 2020-04
• 版次 1
• ISBN 9787111646273
• 定价 69.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 163页
• 字数 251千字

【内容简介】

《深度学习快速实践--――基于TensorFlow和Keras的深度神经网络优化与训练》内容包括神经网络的基础、深度神经网络的优化和验证、深度神经网络开发和训练环境的构建、使用Tensor-Board 进行网络训练的监控和模的超参数优化。本书详细介绍的深度学习问题，包括基本的回归问题、二元分类问题和多元分类问题，还包括较为复杂的卷积神经网络对图像的分类和使用预训练CNN 进行的迁移学习；使用递归神经网络进行时间序列预测、自然语言分类，以及通过sequence-to-sequence 模型进行机器翻译；深度强化学习的智能体构建，以及生成对抗网络的图像生成。

【作者简介】

迈克·贝尼科（Mike Bernico）是State Farm Mutual Insurance Companies的首席数据科学家。他还是伊利诺伊（Illinois）大学斯普林菲尔德（Springfield）分校的兼职教授，在那里他教授数据科学基础、不错神经网络和深度学习。Mike在Illinois大学Springfield分校获得了计算机科学硕士学位。他是开源软件的倡导者，并相信开源能为世界带来好处。作为一个有着无数爱好的终身学习者，Mike还喜欢骑自行车、旅游摄影和酿酒。

【目录】

目 录

 

译者序

 

原书序

 

原书前言

 

第1 章 深度学习的构建模块 // 1

 

1.1 深度神经网络的架构 // 1

 

1.1.1 神经元 // 1

 

1.1.2  深度学习中的代价函数和成本函数 // 4

 

1.1.3 前向传播过程 // 5

 

1.1.4 反向传播函数 // 5

 

1.1.5 随机和小批量梯度下降 // 6

 

1.2 深度学习的优化算法 // 6

 

1.2.1 采用具有动量的梯度下降 // 6

 

1.2.2 RMSProp 算法 // 7

 

1.2.3 Adam 优化器 // 7

 

1.3 深度学习平台架构 // 7

 

1.3.1 什么是TensorFlow ？ // 7

 

1.3.2 什么是Keras ？ // 8

 

1.3.3 TensorFlow 的热门替代品 // 8

 

1.3.4  TensorFlow 和Keras 对GPU的要求 // 8

 

1.3.5  安装Nvidia CUDA Toolkit 和cuDNN // 9

 

1.3.6 安装Python // 10

 

1.3.7 安装TensorFlow 和Keras // 11

 

1.4 深度学习数据集的构建 // 12

 

1.4.1  深度学习中的偏差和方差误差 // 13

 

1.4.2 train、val 和test 数据集 // 13

 

1.4.3  深度神经网络中的偏差和方差管理 // 14

 

1.4.4 K-Fold 交叉验证 // 14

 

1.5 小结 // 15

 

第2 章  用深度学习解决回归问题 // 16

 

2.1 回归分析和深度神经网络 // 16

 

2.1.1  使用神经网络进行回归的好处 // 16

 

2.1.2  使用神经网络进行回归时需要注意的问题 // 17

 

2.2 使用深度神经网络进行回归 // 17

 

2.2.1 如何规划机器学习问题 // 17

 

2.2.2 定义示例问题 // 17

 

2.2.3 加载数据集 // 18

 

2.2.4 定义成本函数 // 19

 

2.3 在Keras 中建立MLP // 19

 

2.3.1 输入层的构形 // 20

 

2.3.2 隐藏层的构形 // 20

 

2.3.3 输出层的构形 // 20

 

2.3.4 神经网络的架构 // 20

 

2.3.5 训练Keras 模型 // 21

 

2.3.6 评测模型的性能 // 22

 

2.4 在Keras 中建立深度神经网络 // 22

 

2.4.1 评测深度神经网络的性能 // 24

 

2.4.2 模型超参数的调优 // 25

 

2.5  保存并加载经过训练的Keras模型 // 25

 

2.6 小结 // 25

 

第3 章  用TensorBoard 监控网络训练 // 27

 

3.1 TensorBoard 的概述 // 27

 

3.2 设置TensorBoard // 27

 

3.2.1 安装TensorBoard // 28

 

3.2.2  TensorBoard 如何与Keras /TensorFlow 会话 // 28

 

3.2.3 运行TensorBoard // 28

 

3.3 将Keras 连接到TensorBoard // 29

 

3.3.1 Keras 回调简介 // 29

 

3.3.2 创建TensorBoard 回调函数 // 29

 

3.4 使用TensorBoard // 31

 

3.4.1 网络训练的可视化 // 31

 

3.4.2 网络结构的可视化 // 32

 

3.4.3 网络破碎的可视化 // 32

 

3.5 小结 // 33

 

第4 章  用深度学习解决二元分类问题 // 34

 

4.1 二元分类和深度神经网络 // 34

 

4.1.1 深度神经网络的优点 // 34

 

4.1.2 深度神经网络的缺点 // 35

 

4.2 案例研究―癫痫发作识别 // 35

 

4.2.1 定义数据集 // 35

 

4.2.2 加载数据 // 35

 

4.2.3 模型的输入和输出 // 36

 

4.2.4 成本函数 // 36

 

4.2.5 性能评估所采用的度量指标 // 37

 

4.3 在Keras 中构建二元分类器 // 37

 

4.3.1 输入层 // 38

 

4.3.2 隐藏层 // 38

 

4.3.3 输出层 // 39

 

4.3.4 网络层的合并 // 39

 

4.3.5 训练模型 // 40

 

4.4 使用Keras 中的检查点回调函数 // 40

 

4.5  在自定义回调函数中测量ROC AUC // 41

 

4.6 精度、召回率和f1 积分的测量 // 42

 

4.7 小结 // 43

 

第5 章  用Keras 解决多元分类问题 //44

 

5.1 多元分类和深度神经网络 // 44

 

5.1.1 优势 // 44

 

5.1.2 缺点 // 45

 

5.2 案例研究―手写数字的分类 // 45

 

5.2.1 问题定义 // 45

 

5.2.2 模型的输入和输出 // 45

 

5.2.3 成本函数 // 46

 

5.2.4 度量 // 46

 

5.3 在Keras 中构建多元分类器 // 47

 

5.3.1 加载MNIST // 47

 

5.3.2 输入层 // 47

 

5.3.3 隐藏层 // 47

 

5.3.4 输出层 // 48

 

5.3.5 网络的总体结构 // 49

 

5.3.6 训练 // 49

 

5.3.7  多类模型中scikit-learn 度量指标的应用 // 50

 

5.4 通过Dropout 进行方差控制 // 51

 

5.5 采用正则化进行方差控制 // 54

 

5.6 小结 // 55

 

第6 章 超参数的优化 // 56

 

6.1  网络体系结构应该被视为超参数吗？ // 56

 

6.1.1 站在巨人的肩膀上 // 56

 

6.1.2  添加至过度拟合，然后进行正则化 // 57

 

6.1.3 实用建议 // 57

 

6.2 应该优化哪些超参数？ // 57

 

6.3 超参数优化策略 // 58

 

6.3.1 常用的策略 // 58

 

6.3.2 通过scikit-learn 使用随机搜索 // 59

 

6.3.3 Hyperband // 60

 

6.4 小结 // 62

 

第7 章 从头开始训练CNN // 63

 

7.1 卷积的引入 // 63

 

7.1.1 卷积层的工作原理 // 64

 

7.1.2 卷积层的好处 // 65

 

7.1.3 汇集层 // 66

 

7.1.4 批量正则化 // 67

 

7.2 在Keras 中训练卷积神经网络 // 67

 

7.2.1 输入 // 67

 

7.2.2 输出 // 67

 

7.2.3 成本函数和度量指标 // 67

 

7.2.4 卷积层 // 68

 

7.2.5 全相连层 // 68

 

7.2.6 Keras 中的多GPU 模型 // 69

 

7.2.7 训练 // 69

 

7.3 使用数据扩增 // 70

 

7.3.1  Keras 中的图像数据扩增器（ImageDataGenerator 类） // 71

 

7.3.2 具有数据扩增的训练 // 72

 

7.4 小结 // 72

 

第8 章  使用预训练CNN 进行

 

迁移学习 // 73

 

8.1 迁移学习概述 // 73

 

8.2 何时使用迁移学习 // 74

 

8.2.1 有限的数据 // 74

 

8.2.2 公共问题域 // 74

 

8.3 源/ 目标量和相似度的影响 // 75

 

8.3.1 更多的数据总是有益的 // 75

 

8.3.2 源/ 目标域的相似度 // 75

 

8.4 在Keras 中进行迁移学习 // 75

 

8.4.1 目标域概述 // 76

 

8.4.2 源域概述 // 76

 

8.4.3 源网络体系结构 // 76

 

8.4.4 网络体系结构的迁移 // 77

 

8.4.5 数据准备 // 77

 

8.4.6 数据输入 // 78

 

8.4.7 训练（特征提取） // 78

 

8.4.8 训练（调优） // 80

 

8.5 小结 // 81

 

第9 章 从头开始训练RNN // 82

 

9.1 递归神经网络概述 // 82

 

9.1.1 如何让神经元进行递归？ // 83

 

9.1.2 长短时间记忆网络 // 84

 

9.1.3 在时间上的反向传播 // 86

 

9.2 重温时间序列问题 // 86

 

9.2.1 存量和流量 // 87

 

9.2.2 ARIMA 和ARIMAX 预测 // 87

 

9.3  使用LSTM 网络进行时间序列预测 // 88

 

9.3.1 数据准备 // 89

 

9.3.2 网络输出 // 92

 

9.3.3 网络体系结构 // 93

 

9.3.4  stateful 与stateless LSTM网络 // 93

 

9.3.5 训练 // 93

 

9.3.6 测量性能 // 94

 

9.4 小结 // 96

 

第10 章  从头开始训练具有单词嵌入的LSTM 网络 // 97

 

10.1 自然语言处理简介 // 97

 

10.1.1 语义分析 // 98

 

10.1.2 文档分类 // 98

 

10.2 文本的矢量化 // 99

 

10.2.1 NLP 术语 // 99

 

10.2.2 Bag of Word 模型 // 99

 

10.2.3  词干化、词形归并和停止词 // 100

 

10.2.4 计数和TF-IDF 矢量化 // 100

 

10.3 单词嵌入 // 101

 

10.3.1 一个简单的例子 // 102

 

10.3.2  通过预测进行的单词嵌入学习 // 102

 

10.3.3  通过计数进行的单词嵌入学习 // 104

 

10.3.4 从单词到文档 // 104

 

10.4 Keras 嵌入层 // 105

 

10.5  用于自然语言处理的1D CNN // 105

 

10.6 文档分类的案例研究 // 106

 

10.6.1  使用Keras 嵌入层和LSTM网络进行情感分析 // 106

 

10.6.2  使用和不使用GloVe 的文档分类 // 110

 

10.7 小结 // 117

 

第11 章  训练sequence-tosequence模型 // 118

 

11.1 sequence-to-sequence 模型 // 118

 

11.1.1  sequence-to-sequence 模型的应用 // 118

 

11.1.2  sequence-to-sequence 模型的体系结构 // 119

 

11.1.3 字符与单词 // 120

 

11.1.4 Teacher forcing // 120

 

11.1.5 Attention // 121

 

11.1.6 翻译的度量 // 121

 

11.2 机器翻译 // 121

 

11.2.1 了解数据集 // 122

 

11.2.2 加载数据 // 122

 

11.2.3 one hot 编码 // 124

 

11.2.4 训练网络体系结构 // 125

 

11.2.5 网络体系结构（用于推理） // 126

 

11.2.6 体系结构的合并 // 127

 

11.2.7 训练 // 128

 

11.2.8 推理 // 129

 

11.3 小结 // 133

 

第12 章 使用深度强化学习 // 134

 

12.1 强化学习概述 // 134

 

12.1.1 Markov 决策过程 // 135

 

12.1.2 Q-learning // 136

 

12.1.3 无限的状态空间 // 136

 

12.1.4 Deep Q 网络 // 137

 

12.1.5 守成与探索 // 138

 

12.1.6 DeepMind // 138

 

12.2 Keras 的强化学习平台架构 // 139

 

12.2.1 安装Keras-RL // 139

 

12.2.2 安装OpenAI gym // 139

 

12.2.3 使用OpenAI gym // 139

 

12.3  在Keras 中构建一个强化学习智能体 // 140

 

12.3.1 CartPole // 140

 

12.3.2 月球着陆器 // 143

 

12.4 小结 // 145

 

第13 章 生成对抗网络 // 146

 

13.1 GAN 的概述 // 146

 

13.2 深度卷积GAN 的体系结构 // 147

 

13.2.1 对抗训练体系结构 // 147

 

13.2.2 生成器的体系结构 // 148

 

13.2.3 鉴别器的体系结构 // 149

 

13.2.4 堆训练 // 149

 

13.3 GAN 如何失效 // 151

 

13.3.1 稳定性 // 151

 

13.3.2 模式塌缩 // 151

 

13.4 GAN 的安全选择 // 151

 

13.5  使用Keras GAN 进行的MNIST图像生成 // 152

 

13.5.1 加载数据集 // 152

 

13.5.2 构建生成器 // 153

 

13.5.3 构建鉴别器 // 153

 

13.5.4 堆叠模型的构建 // 154

 

13.5.5 训练循环 // 155

 

13.5.6 模型评估 // 157

 

13.6  使用Keras GAN 进行CIFAR-10图像的生成 // 160

 

13.6.1 加载CIFAR-10 // 160

 

13.6.2 构建生成器 // 160

 

13.6.3 构建鉴别器 // 161

 

13.6.4 训练循环 // 161

 

13.6.5 模型评估 // 161

 

13.7 小结 // 162