基于R语言的高级深度学习

前言深度学习是机器学习的一个分支，它基于一套尝试建立数据高级抽象模型的算法。本书将帮助读者了解流行的深度学习架构及其用R语言实现的变体，并提供实际示例。本书将通过高级示例帮助读者应用R语言实现深度学习算法。它涵盖了各种神经网络模型，如人工神经网络、卷积神经网络、循环神经网络、长短期记忆网络和其他采用专家技术的模型。在阅读本书的过程中，读者将利用Keras-R，TensorFlow-R等流行的深度学习库来实现人工智能模型。本书的目标读者本书的目标读者是希望增长技能和知识以便借助R语言应用深度学习技术和算法的数据科学家、机器学习从业人员、深度学习研究人员以及人工智能爱好者。对机器学习的深刻理解和R编程语言的应用知识是必需的。本书涵盖的内容第1章，深度学习架构与技术，概述全书涵盖的深度学习技术。第2章，多类分类问题的深度神经网络，介绍应用深度学习网络解决二元和多类分类问题的必要步骤。这些步骤使用一个胎儿心电图数据集进行说明，包括数据准备、一次独热编码、模型拟合、模型评价和预测。第3章，回归问题的深度神经网络，介绍如何开发数值型响应的预测模型。本章以波士顿房价数据集为例，介绍数据预处理、模型构建、模型拟合、模型评价以及模型预测等步骤。第4章，图像分类与识别，借助一个简单示例，介绍利用Keras包如何实现基于深度学习网络的图像分类和识别。相关步骤包括分析图像数据、调整图像的大小与形状、一次独热编码、开发序列模型、编译模型、拟合模型、评价模型、预测以及基于混淆矩阵的模型性能评估。第5章，基于卷积神经网络的图像分类，以一个简单的实例，介绍应用卷积神经网络解决图像分类与识别问题的步骤。卷积神经网络是一种流行的深度神经网络，被认为是大规模图像分类问题的黄金标准。第6章，基于Keras的自编码器神经网络应用，介绍基于Keras的自编码器神经网络的应用步骤。所用实例说明了获取图像输入、利用自编码器训练图像以及重建图像等主要步骤。第7章，基于迁移学习的小数据图像分类，介绍迁移学习在图像识别的应用。相关步骤包括数据预处理、Keras中深层学习网络的定义、模型训练和模型评估。第8章，基于生成对抗网络的图像生成，介绍应用生成对抗网络生成新图像的方法及其实例。图像分类的步骤包括图像数据预处理、特征提取、RBM模型开发以及模型性能评估。第9章，文本分类的深度学习网络，介绍利用深度学习网络解决文本分类问题的步骤，并用简单例子加以说明。文本数据，如客户评论、产品评价和电影评论等，在业务中发挥着重要作用，文本分类是重要的深度学习问题。第10章，基于循环神经网络的文本分类，借助一个实例，介绍应用循环神经网络解决图像分类问题的步骤。相关步骤包括数据准备、循环神经网络模型定义、模型训练以及模型性能评价。第11章，基于长短期记忆网络的文本分类，介绍应用长短期记忆神经网络解决情感分类问题的步骤。相关步骤包括文本数据准备、长短期记忆网络模型构建、模型训练以及模型评估。第12章，基于卷积循环神经网络的文本分类，介绍如何应用卷积循环神经网络解决新闻分类问题。相关步骤包括文本数据准备、Keras中卷积循环神经网络模型的定义、模型训练以及模型评估。第13章，提示、技巧和展望，讨论深度学习应用展望和实践。利用本书的必要准备以下是关于如何充分利用本书的几点想法：本书所有示例均使用R代码。因此，在开始阅读本书之前，读者应该具有R语言的良好基础。正如孔子所说的：“闻之我也野，视之我也饶，行之我也明（我听，我忘记；我见，我记住；我做，我理解）。”本书也是如此。在阅读本书各章节的同时实际编写相应的代码对于理解深度学习模型非常有用。本书所有代码均已在具有8GB RAM的Mac计算机上成功运行过。但是，如果读者使用的数据集比本书用于说明的数据集大得多，则可能需要更强大的计算资源来开发深度学习模型。另外，具有良好的统计方法基础也大有裨益。下载示例代码文件读者可以通过自己在www.packt.com的账户下载本书的示例代码文件。如果你在别处购买了本书，可以访问www.packtpub.com/support，在注册后便可得到通过电子邮件直接发送的文件。读者可以通过以下步骤下载示例代码文件：（1） 登录或在www.packt.com上注册。（2） 选择“Support”标签。（3） 点击“Code Downloads”（代码下载）按钮。（4） 在Search（搜索）框中输入本书书名，然后按照屏幕指令操作。一旦完成文件下载，请用以下版本工具进行文件解压或提取：● Windows系统：WinRAR/7-Zip。● Mac系统：Zipeg/iZip/UnRarX。● Linux系统：7-Zip/PeaZip。本书的代码包也存放在GitHub上，网址为https://GitHub.com/PacktPublishing/Advanced- Deep-Learning-with-R。如果代码有更新，那么GitHub库中的代码也会同步更新。本书还提供了配套丰富书籍和视频的其他代码包，可从https://github.com/PacktPublishing/ 获得。敬请查阅！下载彩色插图本书提供了一份PDF文件，其中包含本书用到的截屏或图表的彩色图片。读者可从https://static.packt-cdn.com/downloads/9781789538779_ColorImages.pdf下载。文本格式约定本书采用以下若干文本格式约定。CodeInText：表示代码文本、数据库表名、文件夹名、文件名、文件扩展名、路径名、虚拟URL、用户输入以及推特用户名（Twitter handle）。例如，“我们存储将模型拟合成model_three时的损失和准确率”。一段代码设置如下：model %>%compile(loss = 'binary_crossentropy',optimizer = 'adam',metrics = 'accuracy')Bold：（粗体）表示新概念、关键词或者出现在屏幕上菜单或对话框里的词。例如，“循环神经网络（RNN）非常适合处理涉及这类序列的数据。” 表示警告或重要说明。 表示提示或技巧。联系方式欢迎读者积极反馈。一般反馈：如果读者对本书的任何方面有问题，可以在邮件主题中注明书名，反馈至邮箱customercare@packtpub.com。勘误：虽然我们已尽力确保著作内容的准确性，但错误仍难以避免。如果读者发现书中错误，烦请告知。请访问www.packtpub.com/support/errata，选定图书，点击“勘误提交表格”链接，填入具体信息。盗版：如果读者在互联网上发现我们的图书被以任何形式非法复制，烦请告知网址或网站名。请通过copyright@packt.com联系我们，并提供盗版材料的链接。如果愿意成为作者：如果读者有熟悉的主题而且愿意写书或参与出书，请访问authors. packtpub.com。撰写书评请读者留言评论。如果你读过或使用过本书，何不在你购书处留下宝贵的意见？潜在的读者将会看到并根据你公正客观的评论意见，决定是否购书。我们也能了解你对我们产品的想法，而我们的作者能够获悉你对他们著作的反馈。不胜感激！更多有关Packt的信息，请访问packt.com。

本书将通过高级示例帮助读者应用R语言实现深度学习算法。它涵盖了各种神经网络模型，如人工神经网络、卷积神经网络、循环神经网络、长短期记忆网络和其他采用专家技术的模型。在阅读本书的过程中，读者将利用Keras-R、TensorFlow-R等流行的深度学习库来实现人工智能模型。

本书将通过高级示例帮助读者应用R语言实现深度学习算法。它涵盖了各种神经网络模型，如人工神经网络、卷积神经网络、循环神经网络、长短期记忆网络和其他采用专家技术的模型。在阅读本书的过程中，读者将利用Keras-R、TensorFlow-R等流行的深度学习库来实现人工智能模型。

Bharatendra Rai是麻省大学达特茅斯分校（UMass Dartmouth）查尔顿商学院商业分析专业的首席教授和技术管理硕士课程的主任。他在底特律韦恩州立大学（Wayne State University）获得工业工程博士学位。他获得了印度统计研究所（Indian Statistical Institute）的质量、可靠性和OR硕士学位。他目前的研究兴趣包括机器学习和深度学习应用。他在YouTube上的深度学习讲座视频浏览者遍布198个国家。他在软件、汽车、电子、食品、化工等行业拥有20多年的咨询和培训经验，涉及数据科学、机器学习和供应链管理等领域。

目录 
前言
部分　深 度 学 习 基 础
第1章　深度学习架构与技术 2
1.1　R语言实现的深度学习 3
1.1.1　深度学习发展趋势 3
1.1.2　R软件包的版本 3
1.2　深度学习网络模型的开发过程 5
1.2.1　为深度学习网络模型准备数据 5
1.2.2　开发模型架构 7
1.2.3　编译模型 9
1.2.4　拟合模型 11
1.2.5　评估模型性能 12
1.3　R语言和RStudio实现的深度学习技术 13
1.3.1　多类分类问题 14
1.3.2　回归问题 14
1.3.3　图像分类 15
1.3.4　卷积神经网络 15
1.3.5　自编码器 15
1.3.6　迁移学习 16
1.3.7　生成对抗网络 16
1.3.8　文本分类的深度学习网络 16
1.3.9　循环神经网络 17
1.3.10　长短期记忆网络 17
1.3.11　卷积循环网络 17
1.3.12　提示、技巧和实践 18
1.4　本章小结 18
第二部分　预测与分类问题的深度学习
第2章　多类分类问题的深度神经网络 20
2.1　胎儿心电图数据集 20
2.1.1　医学数据集 20
2.1.2　数据集分类 21
2.2　建模数据准备 22
2.2.1　数值型变量的归一化 22
2.2.2　数据分割 22
2.2.3　独热编码 23
2.3　深度神经网络模型的创建与拟合 24
2.3.1　模型架构开发 24
2.3.2　模型编译 26
2.3.3　模型拟合 26
2.4　模型评价和预测 28
2.4.1　损失函数与准确率计算 29
2.4.2　混淆矩阵 29
2.5　性能优化提示与实践 31
2.5.1　增加隐藏层的实验 31
2.5.2　隐藏层增加单元数量的实验 34
2.5.3　多单元多层网络的实验 36
2.5.4　分类不平衡问题的实验 39
2.5.5　模型的保存与重新上载 42
2.6　本章小结 43
第3章　回归问题的深度神经网络 44
3.1　波士顿房价数据集 44
3.2　建模数据准备 46
3.2.1　神经网络的可视化 46
3.2.2　数据分割 48
3.2.3　归一化 48
3.3　回归问题深度神经网络模型的创建与拟合 49
3.3.1　参数总数计算 50
3.3.2　模型编译 50
3.3.3　模型拟合 50
3.4　模型评价和预测 52
3.4.1　评价 52
3.4.2　预测 53
3.4.3　改进 54
3.5　性能优化提示与实践 58
3.5.1　输出变量的对数变换 58
3.5.2　模型性能 61
3.6　本章小结 62
第三部分　面向计算机视觉的深度学习
第4章　图像分类与识别 64
4.1　处理图像数据 64
4.2　数据准备 68
4.2.1　尺寸与形状调整 69
4.2.2　创建训练、验证和测试数据 70
4.2.3　独热编码 72
4.3　模型创建与拟合 73
4.3.1　模型架构开发 73
4.3.2　模型编译 74
4.3.3　模型拟合 74
4.4　模型评价和预测 76
4.4.1　训练数据的损失、准确率和混淆矩阵 76
4.4.2　训练数据的预测概率 77
4.4.3　测试数据的损失、准确率和混淆矩阵 78
4.4.4　测试数据的预测概率 79
4.5　性能优化提示与实践 80
4.5.1　更深层次的神经网络 80
4.5.2　结果 81
4.6　本章小结 85

第5章　基于卷积神经网络的图像分类 86
5.1　数据准备 86
5.1.1　fashion-MNIST图像数据集 87
5.1.2　训练与测试数据 88
5.1.3　尺寸与形状调整 91
5.1.4　独热编码 92
5.2　卷积神经网络的层 92
5.2.1　模型架构与相关计算 92
5.2.2　模型编译 94
5.3　模型拟合 95
5.3.1　模型拟合代码 95
5.3.2　准确率和损失 95
5.4　模型评价和预测 96
5.4.1　训练数据 96
5.4.2　测试数据 98
5.4.3　互联网上的时尚物品图像 100
5.5　性能优化提示与实践 103
5.5.1　图像修正 104
5.5.2　架构变更 105
5.6　本章小结 110
第6章　基于Keras的自编码器神经网络应用 111
6.1　自编码器的类型 111
6.2　降维自编码器 112
6.2.1　Fashion-MNIST数据 112
6.2.2　编码器模型 114
6.2.3　解码器模型 114
6.2.4　自编码器模型 115
6.2.5　模型的编译与拟合 116
6.2.6　图像重建 117
6.3　去噪自编码器 119
6.3.1　MNIST数据 119
6.3.2　数据准备 120
6.3.3　添加噪声 121
6.3.4　编码器模型 122
6.3.5　解码器模型 123
6.3.6　自编码器模型 124
6.3.7　模型拟合 125
6.3.8　图像重建 126
6.4　图像修正自编码器 128
6.4.1　需要修正的图像 128
6.4.2　图像清洗 129
6.4.3　编码器模型 130
6.4.4　解码器模型 131
6.4.5　模型编译与拟合 132
6.4.6　基于训练数据的图像重建 132
6.4.7　基于新数据的图像重建 133
6.5　本章小结 136
第7章　基于迁移学习的小数据图像分类 137
7.1　使用预训练模型识别图像 137
7.1.1　图像读取 138
7.1.2　输入数据预处理 141
7.1.3　前五类别 142
7.2　处理CIFAR10数据集 142
7.2.1　样本图像 144
7.2.2　预处理和预测 145
7.3　基于卷积神经网络的图像分类 146
7.3.1　数据准备 146
7.3.2　卷积神经网络模型 148
7.3.3　模型性能 150
7.4　基于预训练RESNET50模型的图像分类 152
7.4.1　模型架构 152
7.4.2　预训练网络权重冻结 154
7.4.3　模型拟合 155
7.5　模型评价和预测 156
7.5.1　训练数据的损失、准确率和混淆矩阵 156
7.5.2　测试数据的损失、准确率和混淆矩阵 157
7.6　性能优化提示与实践 159
7.6.1　adam优化器的实验 159
7.6.2　超参调整 161
7.6.3　VGG16作为预训练网络的实验 165
7.7　本章小结 168
第8章　基于生成对抗网络的图像生成 169
8.1　生成对抗网络概述 169
8.2　处理MNIST图像数据 170
8.2.1　训练数据的数字5 170
8.2.2　数据处理 172
8.3　生成器网络构建 172
8.3.1　网络架构 172
8.3.2　生成器网络信息汇总 173
8.4　判别器网络构建 174
8.4.1　网络架构 174
8.4.2　判别器网络信息汇总 175
8.5　网络训练 176
8.5.1　存储伪造图像和损失的初始设置 176
8.5.2　训练过程 177
8.6　结果检查 178
8.6.1　判别器与生成对抗网络的损失 179
8.6.2　伪造图像 180
8.7　性能优化提示与实践 181
8.7.1　生成器网络与判别器网络的更改 181
8.7.2　更改的影响 182
8.7.3　生成手写数字8的图像 184
8.8　本章小结 186
第四部分　自然语言处理问题的深度学习
第9章　文本分类的深度学习网络 188
9.1　文本数据集 188
9.1.1　UCI机器学习资源库 188
9.1.2　Keras中的文本数据 189
9.2 为模型构建准备数据 191
9.2.1　词性标注 191
9.2.2　文本转换为整数序列 192
9.2.3　填充与截断 193
9.2.4　推文情感分类模型的开发 194
9.3　深度学习网络开发 196
9.3.1　获取IMDb电影评论数据 197
9.3.2　构建分类模型 199
9.3.3　模型编译 200
9.3.4　模型拟合 200
9.4　模型评价和预测 203
9.4.1　利用训练数据的评价 203
9.4.2　利用测试数据的评价 204
9.5　性能优化提示与实践 204
9.5.1　序列长度和优化器的实验 205
9.5.2　测试数据的损失、准确率及混淆矩阵 207
9.6　本章小结 207
第10章　基于循环神经网络的文本分类 209
10.1　为模型构建准备数据 209
10.1.1　获取数据 209
10.1.2　序列填充 211
10.2　循环神经网络模型的开发 213
10.2.1　参数的计算 213
10.2.2　模型编译 214
10.3　模型拟合 215
10.3.1　拟合代码 215
10.3.2　准确率和损失 215
10.4　模型评价和预测 216
10.4.1　训练数据 217
10.4.2　测试数据 217
10.5　性能优化提示与实践 218
10.5.1　简单循环神经网络层的单元数 219
10.5.2　简单循环神经网络层使用的不同激活函数 220
10.5.3　增加循环层 222
10.5.4　填充序列的长度 223
10.6　本章小结 227
第11章　基于长短期记忆网络的文本分类 228
11.1　采用LSTM网络的原因 228
11.2　为模型构建准备数据 229
11.3　构建LSTM网络模型 229
11.3.1　LSTM网络架构 230
11.3.2　LSTM网络模型的编译 231
11.4　LSTM网络模型的拟合 231
11.4.1　拟合代码 231
11.4.2　损失与准确率 231
11.5　模型性能评价 232
11.5.1　基于训练数据的模型评价 232
11.5.2　基于测试数据的模型评价 234
11.6　性能优化提示与实践 234
11.6.1　利用adam优化器的实验 235
11.6.2　带附加层的LSTM网络的实验 238
11.6.3　双向LSTM层的实验 242
11.7　本章小结 247
第12章　基于卷积循环神经网络的文本分类 248
12.1　处理reuter_50_50数据集 248
12.1.1　读取训练数据 249
12.1.2　读取测试数据 250
12.2　为模型构建准备数据 251
12.2.1　词性标注与文本-整数序列转换 251
12.2.2　标签改为整数 254
12.2.3　序列的填充与截断 254
12.2.4　标签的独热编码 257
12.3　模型架构开发 257
12.4　模型的编译与拟合 260
12.4.1　模型编译 260
12.4.2　模型拟合 260
12.5　模型评价和预测 262
12.5.1　基于训练数据的模型评价 262
12.5.2　基于测试数据的模型评价 264
12.6　性能优化提示与实践 265
12.6.1　减小批量的实验 266
12.6.2　CNN批量规模、核规模以及过滤器的实验 269
12.7　本章小结 272
第五部分　未　来　展　望
第13章　提示、技巧和展望 275
13.1　基于TensorBoard的训练性能可视化 275
13.2　基于LIME的深度学习网络模型可视化 278
13.3　基于tfruns的模型训练可视化 280
13.4　网络训练的早停 282
13.5　本章小结 284

本书将通过高级示例帮助读者应用R语言实现深度学习算法。它涵盖了各种神经网络模型，如人工神经网络、卷积神经网络、循环神经网络、长短期记忆网络和其他采用专家技术的模型。在阅读本书的过程中，读者将利用Keras-R、TensorFlow-R等流行的深度学习库来实现人工智能模型。