飞桨PaddlePaddle深度学习实战

为何写作本书
众所周知，深度学习已经成为新一轮人工智能浪潮的重要驱动力量。从大数据到云计算，数据资源的积累、计算性能的提升为以深度学习为代表的新一代人工智能的快速发展和广泛应用奠定了基础。人工智能已经成为当下科技革命和产业变革的重要驱动力，将在人类社会经济和生活中产生广泛而深远的影响。把握人工智能的发展机遇，构筑先发优势，抢占科技制高点，将关乎人类社会发展和国家前途命运。
为把握人工智能发展的重大战略机遇，很多国家纷纷制定了人工智能发展战略和规划，人工智能技术竞争趋于白热化，甚至上升到了国家体系对抗博弈的高度。在这场竞争中，我国有着诸多优势。制度和政策优势有利于人工智能技术创新和产业生态的顶层规划和统筹推进，互联网、物联网等信息技术的普及使得各个行业积累了大量的数据资源和用户群体。在人工智能人才方面，我国还具有人才储备基数大、层次丰富、后备力量充足的优势。但我们也要清醒地看到我国在人工智能领域的差距和挑战，诸如基础理论方法、高端核心器件、开源开放平台、领军 人才等方面的短板显著。尤其要建设人工智能强国，我们还需要在数据、算法、芯片和平台等方面形成一系列引领性技术、标准和开源生态，以确保人工智能核心要素的自主可控，规范技术和行业应用，保障人工智能健康发展。
深度学习平台作为人工智能时代的“操作系统”，其自主可控的重要性不言而喻。然而，无论是学术界驱动的代表性深度学习框架Theano（2010，蒙特利尔大学）、Caffe（2013，加州大学伯克利分校），还是由企业主导的深度学习框架TensorFlow（2015，谷歌）、PyTorch（2017，脸书），鲜有中国主导的平台。面对愈演愈烈的国际竞争态势，为了全面提升我国人工智能科技实力，发展和推广类似PaddlePaddle（飞桨）这样自主可控的深度学习开源平台势在必行。本书编写的初衷就是为推动我国人工智能教育，以及人工智能技术的自主可控贡献一份力量。
本书主要特点
本书在编写过程中始终遵循“内容全面、由浅入深、注重实践”的原则。书中较为全面地覆盖了学习深度学习技术所必须具备的基础知识以及主要核心技术，包括相关的数学基础、Python编程基础、机器学习基础以及正向/反向传播算法、卷积神经网络、循环神经网络等，尽量做到读懂一本书即可实现从“零基础”到“全精通”。相关内容的章节安排充分考虑了读者的特点和认知规律，在知识架构和案例穿插的设计上确保循序渐进、由浅入深。本书的另外一个重要特点是提供了大量深度学习实战案例，覆盖当前计算机视觉、自然语言处理、个性化推荐等领域主流的应用和典型的算法，每章都单独配以飞桨代码实现，详细解析实操过程，一步步引导读者开展实践练习，深入掌握相关知识。
本书阅读对象
本书结合国内自主可控的产业级深度学习开源平台飞桨，以通俗易懂的方式向读者介绍深度学习的数学基础、主流模型以及目标识别、机器翻译、个性化推荐等深度学习应用，适合各类读者阅读。本书比较全面地覆盖了深度学习的基础知识和核心算法，可作为初学者了解深度学习的基础教材；同时，书中详细介绍了大量深度学习应用案例及算法实现，可作为高校人工智能专业学生、研究人员以及技术人员（包括开源框架开发者、算法研究者和工程师、应用开发工程师等）深入掌握深度学习技术和飞桨平台开发的参考书。
如何阅读本书
本书一共15章，主要分为三个部分。读者只需要按照章节顺序学习，即可掌握相关知识。
部分为数学与编程基础篇（第1～2章），首先介绍了学习度学习需要掌握的基础知识，包括数学基础和Python编程基础，其后概述了深度学习发展历史、应用场景，详解了飞桨平台的构成和入门使用。
第二部分为深度学习基础篇（第3～9章），重点介绍了神经网络以及深度网络的主流模型，包括多层感知机、卷积神经网络、循环神经网络等，同时详细讲解了深度学习常用的注意力机制和算法优化策略。
第三部分为飞桨实践篇（第10～15章），分别结合计算机视觉、自然语言处理、个性化推荐等领域中深度学习的主要应用，介绍目前比较经典的深度学习模型以及飞桨实现，帮助读者从入门到精通。
致谢
首先感谢飞桨社区的开发者和生态用户，正是因为你们的热忱和积极贡献，才使得飞桨框架不断演进，成为“智能时代的操作系统”。
感谢百度技术委员会理事长陈尚义先生对本书的推动和支持，也感谢百度深度学习平台部高级总监马艳军对本书技术内容的指导和审阅。
感谢百度工程师周湘阳、邓凯鹏、郭晟、蒋佳军、周波、陈泽裕、吕梦思、孙高峰、刘毅冰、董大祥、党青青提供书中的实战案例与相关代码。
参与本书编写的人员除封面署名作者外还有蒋晓琳、马婧、白世豪、王硕、郜廷权、王立民、武东锟、崔程、王思吉、殷晓婷、马宇晴、李俊、高一杰、胡晟、王嘉凯、沈一凡、雷开宇、石泽宏、曾维佳、孙俊康、彭锦、韩明宇、孙昭等。

刘祥龙

内容简介
本书由百度官方出品，百度公司CTO王海峰博士作序，张钹院士、李未院士、百度集团副总裁吴甜联袂推荐。
本书遵循“内容全面、由浅入深、注重实践”的原则，基于飞桨PaddlePaddle深度学习平台，较为全面地覆盖了学习深度学习技术所必须具备的基础知识以及深度学习主要核心技术，包括相关的数学基础、Python编程基础、机器学习基础以及正向/反向传播算法、卷积神经网络、循环神经网络等，尽量做到读懂一本书即可达到“零基础”到“全精通”。
在章节安排上，考虑读者的特点和认知规律，在知识架构和案例穿插的设计上确保循序渐进、由浅入深。同时，本书提供了大量的深度学习实战案例，覆盖了当前计算机视觉、自然语言处理、个性化推荐等领域主流应用典型的算法，每章都单独配以飞桨代码实现，详细解析实操过程，手把手引导读者开展实践练习、掌握相关知识。

作者简介
?刘祥龙
副教授，博士生导师，现任职于北京航空航天大学软件开发环境国家重点实验室，主要研究大数据检索、大规模视觉分析、可信赖深度学习等。近年来，主持国家自然科学基金、国防科技创新重点项目、科技创新2030人工智能重大项目等多项国家课题；发表人工智能领域国际会议及期刊论文60余篇。Pattern Recognition等多个国际SCI期刊编委/客座编辑以及ACM MM 2019/2020等国际会议领域主席/高级程序委员等，国家新一代人工智能产业技术创新战略联盟启智开源开放平台技术委员会委员。曾作为主要执笔人参与国家新一代人工智能实施建议、AI 2.0 国家战略研究发展报告的撰写。获陕西省自然科学一等奖、北京市科技新星、中国计算机学会博士学位论文、中国计算机学会首届青年人才发展计划等奖励和荣誉。
?杨晴虹
博士，中科院系列高级工程师，北航软件学院人工智能专业主讲教师，美国南康涅狄格州立大学图书信息科学访问学者，美国耶鲁大学技术创新实验室数据分析专家。发表国际论文几十篇，主要研究领域有机器学习、知识挖掘、大数据分析、项目管理和科研管理等。在机器学习、深度学习 经网络等领域有丰富的实践经验，曾主导和参与多个相关的项目并取得成功。
?胡晓光
百度杰出研发架构师，10余年自然语言处理研发经验，参与的机器翻译项目获得国家科技进步二等奖，现负责飞桨核心训练框架和模型算法的研发，致力于打造*好用的深度学习平台。
?于佃海
百度深度学习平台飞桨（PaddlePaddle）总架构师。2008年从北京大学毕业加入百度，长期从事机器学习、自然语言处理相关的技术研发和平台建设工作，在国际学术会议发表论文十余篇，作为骨干成员参与了国家973计划、国家重点研发计划、科技创新2030等国家科技计划的多个项目，曾获中国电子学会科技进步一等奖、2019年CCF杰出工程师奖。
?白浩杰
北航、大连理工特聘讲师，百度认证深度学习布道师，美国佛罗里达国际大学高性能数据实验室访问学者，致力于移动对象数据库、数据可视化、机器学习、深度学习等方向的研究。鸥若教育人工智能主讲教师，具有丰富的PaddlePaddle深度学习授课和实验设计经验。

序
前言
部分　数学与编程基础篇
第1章　数学基础与Python库2
1.1　Python是进行人工智能编程的主要语言2
1.2　数学基础3
1.2.1　线性代数基础3
1.2.2　微积分基础7
1.3　Python库的操作14
1.3.1　NumPy操作14
1.3.2　Matplotlib操作19
1.4　本章小结23
第2章　深度学习概论与飞桨入门24
2.1　人工智能、机器学习和深度学习25
2.1.1　人工智能25
2.1.2　机器学习26
2.1.3　深度学习26
2.2　深度学习的发展历程27
2.2.1　神经网络的次高潮27
2.2.2　神经网络的次寒冬28
2.2.3　神经网络的第二次高潮30
2.2.4　神经网络的第二次寒冬30
2.2.5　深度学习的来临31
2.2.6　深度学习崛起的时代背景31
2.3　深度学习的应用场景31
2.3.1　图像与视觉32
2.3.2　语音识别32
2.3.3　自然语言处理33
2.3.4　个性化推荐33
2.4　常见的深度学习网络结构34
2.4.1　全连接网络结构34
2.4.2　卷积神经网络34
2.4.3　循环神经网络35
2.5　机器学习回顾35
2.5.1　线性回归的基本概念36
2.5.2　数据处理37
2.5.3　模型概览38
2.5.4　效果展示39
2.6　深度学习框架简介40
2.6.1　深度学习框架的优势40
2.6.2　常见的深度学习框架41
2.6.3　飞桨简介42
2.6.4　飞桨安装42
2.6.5　AI Studio43
2.7　飞桨实现44
2.8　飞桨服务平台和工具组件51
2.8.1　PaddleHub51
2.8.2　X2Paddle54
2.8.3　PARL56
2.8.4　EasyDL61
2.9　本章小结62
第二部分　深度学习基础篇
第3章　深度学习的单层网络64
3.1　Logistic回归模型64
3.1.1　Logistic回归概述64
3.1.2　损失函数66
3.1.3　Logistic回归的梯度下降68
3.2　实现Logistic回归模型72
3.2.1　NumPy版本73
3.2.2　飞桨版本80
3.3　本章小结88
第4章　浅层神经网络89
4.1　神经网络89
4.1.1　神经网络的定义及其结构89
4.1.2　神经网络的计算91
4.2　BP算法96
4.2.1　逻辑回归与BP算法96
4.2.2　单样本双层神经网络的BP算法97
4.2.3　多样本神经网络的BP算法100
4.3　BP算法实践103
4.3.1　NumPy版本103
4.3.2　飞桨版本110
4.4　本章小结114
第5章　深层神经网络116
5.1　深层网络介绍116
5.1.1　深度影响算法能力116
5.1.2　网络演化过程与常用符号118
5.2　传播过程120
5.2.1　神经网络算法核心思想120
5.2.2　深层网络正向传播过程120
5.2.3　深层网络反向传播过程121
5.2.4　传播过程总结122
5.3　网络的参数124
5.4　代码实现125
5.4.1　NumPy版本125
5.4.2　飞桨版本128
5.5　本章小结130
第6章　卷积神经网络131
6.1　图像分类问题描述131
6.2　卷积神经网络介绍132
6.2.1　卷积层132
6.2.2　ReLU激活函数136
6.2.3　池化层137
6.2.4　Softmax分类层138
6.2.5　主要特点139
6.2.6　经典神经网络架构140
6.3　飞桨实现145
6.3.1　数据介绍145
6.3.2　模型概览146
6.3.3　配置说明146
6.4　本章小结153
第7章　循环神经网络154
7.1　任务描述154
7.2　循环神经网络介绍155
7.2.1　长短期记忆网络156
7.2.2　门控循环单元157
7.2.3　双向循环神经网络158
7.2.4　卷积循环神经网络159
7.3　利用飞桨实现机器翻译159
7.3.1　数据准备159
7.3.2　柱搜索 163
7.3.3　模型配置167
7.3.4　模型训练168
7.3.5　加载训练模型进行预测169
7.4　本章小结170
第8章　注意力机制171
8.1　任务描述171
8.2　注意力机制介绍172
8.2.1　Transformer172
8.2.2　Non-local神经网络175
8.2.3　Attention Cluster神经网络176
8.3　利用飞桨实现视频分类177
8.3.1　Non-local神经网络177
8.3.2　Attention Cluster183
8.4　本章小结195
第9章　算法优化196
9.1　基础知识196
9.1.1　训练、验证和测试集196
9.1.2　偏差和方差197
9.2　评估198
9.2.1　选定评估目标198
9.2.2　迭代过程199
9.2.3　欠拟合和过拟合199
9.3　调优策略199
9.3.1　降低偏差199
9.3.2　降低方差204
9.4　超参数调优209
9.4.1　随机搜索和网格搜索209
9.4.2　超参数范围209
9.4.3　分阶段搜索210
9.4.4　例子：对学习率的调整210
9.5　本章小结212
第三部分　飞桨实践篇
第10章　目标检测214
10.1　任务描述214
10.2　常见模型解析217
10.2.1　R-CNN系列217
10.2.2　YOLO223
10.2.3　SSD228
10.3　PaddleDetection应用实践231
10.3.1　Faster-R-CNN231
10.3.2　YOLOv3234
10.4　本章小结237
第11章　图像生成238
11.1　任务描述238
11.1.1　图像生成238
11.1.2　图像–图像转换239
11.1.3　文本–图像转换239
11.2　模型概览240
11.2.1　图像生成240
11.2.2　图像–图像241
11.2.3　文本–图像246
11.3　PaddleGAN应用实践248
11.3.1　数据准备248
11.3.2　参数设置248
11.3.3　网络结构定义249
11.3.4　模型训练253
11.3.5　模型测试 256
11.4　本章小结257
第12章　情感分析258
12.1　任务描述258
12.2　算法原理解析259
12.2.1　BOW259
12.2.2　DB-LSTM259
12.3　情感分析应用实践261
12.3.1　数据集下载261
12.3.2　配置模

内容简介
本书由百度官方出品，百度公司CTO王海峰博士作序，张钹院士、李未院士、百度集团副总裁吴甜联袂推荐。
本书遵循“内容全面、由浅入深、注重实践”的原则，基于飞桨PaddlePaddle深度学习平台，较为全面地覆盖了学习深度学习技术所必须具备的基础知识以及深度学习主要核心技术，包括相关的数学基础、Python编程基础、机器学习基础以及正向/反向传播算法、卷积神经网络、循环神经网络等，尽量做到读懂一本书即可达到“零基础”到“全精通”。
在章节安排上，考虑读者的特点和认知规律，在知识架构和案例穿插的设计上确保循序渐进、由浅入深。同时，本书提供了大量的深度学习实战案例，覆盖了当前计算机视觉、自然语言处理、个性化推荐等领域主流应用典型的算法，每章都单独配以飞桨代码实现，详细解析实操过程，手把手引导读者开展实践练习、掌握相关知识。

作者简介
?刘祥龙
副教授，博士生导师，现任职于北京航空航天大学软件开发环境国家重点实验室，主要研究大数据检索、大规模视觉分析、可信赖深度学习等。近年来，主持国家自然科学基金、国防科技创新重点项目、科技创新2030人工智能重大项目等多项国家课题；发表人工智能领域国际会议及期刊论文60余篇。Pattern Recognition等多个国际SCI期刊编委/客座编辑以及ACM MM 2019/2020等国际会议领域主席/高级程序委员等，国家新一代人工智能产业技术创新战略联盟启智开源开放平台技术委员会委员。曾作为主要执笔人参与国家新一代人工智能实施建议、AI 2.0 国家战略研究发展报告的撰写。获陕西省自然科学一等奖、北京市科技新星、中国计算机学会博士学位论文、中国计算机学会首届青年人才发展计划等奖励和荣誉。
?杨晴虹
博士，中科院系列高级工程师，北航软件学院人工智能专业主讲教师，美国南康涅狄格州立大学图书信息科学访问学者，美国耶鲁大学技术创新实验室数据分析专家。发表国际论文几十篇，主要研究领域有机器学习、知识挖掘、大数据分析、项目管理和科研管理等。在机器学习、深度学习 经网络等领域有丰富的实践经验，曾主导和参与多个相关的项目并取得成功。
?胡晓光
百度杰出研发架构师，10余年自然语言处理研发经验，参与的机器翻译项目获得国家科技进步二等奖，现负责飞桨核心训练框架和模型算法的研发，致力于打造*好用的深度学习平台。
?于佃海
百度深度学习平台飞桨（PaddlePaddle）总架构师。2008年从北京大学毕业加入百度，长期从事机器学习、自然语言处理相关的技术研发和平台建设工作，在国际学术会议发表论文十余篇，作为骨干成员参与了国家973计划、国家重点研发计划、科技创新2030等国家科技计划的多个项目，曾获中国电子学会科技进步一等奖、2019年CCF杰出工程师奖。
?白浩杰
北航、大连理工特聘讲师，百度认证深度学习布道师，美国佛罗里达国际大学高性能数据实验室访问学者，致力于移动对象数据库、数据可视化、机器学习、深度学习等方向的研究。鸥若教育人工智能主讲教师，具有丰富的PaddlePaddle深度学习授课和实验设计经验。