零基础实践深度学习（第二版）

随着“十四五”规划和2035年远景目标纲要的发布，笔者欣喜地发现，在中国，人工智能（Artificial Intelligence,AI）已经进入欣欣向荣的时期。据不完全统计，仅百度大脑就开放了330多项AI能力，日调用量超过1万亿次。在刚刚过去的2022年冬奥会上，一系列AI“黑科技”的应用，如防疫机器人、送餐机器人、炒菜机器人、AI手语主播等，让世界人民看到了中国科技发展的突飞猛进，作为一名在AI领域深耕多年的产品人，我倍感骄傲和自豪。

AI与产业结合的场景越来越深入、越来越专业。在工业制造、城市管理、应急管理、医疗、农业等领域，AI技术正遍地开花结果，如数字人客服、安全生产监测、质量检测、智能信控、车路协同、飞机识别、森林草原火灾监测、新冠病灶分割等。AI X在各行各业的落地，大大加快了产业数字化进程，提升了企业核心竞争力。

这些日新月异的变化，其核心基础是AI人才的培养。希望通过本书的出版，为中国AI人才建设贡献一些绵薄之力。书中阐述的很多观点和实践，都源于我多年来的教学经验和项目实践累积，是入门深度学习必须要掌握的基本功。感谢读者朋友们选择本书作为开启深度学习实践的教材，期待阅读本书后，大家可以领悟并掌握深度学习的“套路”，并举一反三，轻松驾驭学业和工作中与深度学习相关的任务。 “乘风破浪会有时，直挂云帆济沧海”，我很期待，下一代AI的领航人能在中国诞生，能在本书的读者中产生。怀揣AI梦，一起向未来。

我总结了本书的几个特色，希望能帮助读者捋顺这本书的脉络，更好地掌握书中的理论知识和实践方法。

特色1： 理论和代码结合、实践与平台结合，帮助读者快速掌握深度学习基本功

目前，市面上关于AI和深度学习的图书已经汗牛充栋，但大多偏重理论，对于AI实践应用的介绍涉猎较少。但以我多年的经验来看，对于深度学习的初学者来说，更需要一本理论和代码结合、实践与平台结合的书，因为多数开发者更习惯通过实践代码来理解模型背后的原理。本书介绍的内容和相关代码都配有在线课程，读者可扫描封底的二维码获取。在线课程以Jupyter Notebook的方式呈现，源代码可在线运行。

建议本书的最佳阅读方式： 阅读本书时，读者可以配合视频课程，并同时在线运行实践代码，观察打印结果。
纸质图书、线上课程视频和交互式编程平台三位一体的策略，可以帮助读者在最短的时间内，轻松愉悦地掌握深度学习的基本功，这就是本书撰写的初衷。

理论知识讲解和可运行代码演示一体化

特色2： 工业实践示例和作业结合，帮助读者快速具备深度学习应用的能力

很多接触深度学习时间不是很长的开发者都会面临一个困惑，虽然系统地学习了很多相关课程，能独立实践经典的学术问题，但在产业应用时仍然信心不足，感觉自己和在工业界摸爬滚打多年的工程师们之间有很大的差距。因此，本书在撰写时，除了选取一些经典的学术问题作为介绍深度学习知识的示例外，还选取了一些真实的工业实践项目作为比赛题和作业题。这些项目来源于百度工程师正在研发的与AI相关的工业应用。

在这些真实的工业实践项目中，读者会接触到很多独有的数据集和有趣的问题，并和成千上万的读者们共同较量模型优化的效果。如果你能在这些实践中独占鳌头，那么恭喜你，与在AI前端冲浪已久的工程师们相比，你已经毫不逊色。如果愿意，你甚至可以尝试面试顶级科技公司，从事与AI相关的研发工作。

特色3： 深度学习全流程工具支撑，帮助读者“武装”

在AI应用飞速落地的今天，如何实现快速建模、如何提升模型的训练和部署效率已经成为工业界普遍关注的课题。因此，本书在介绍深度学习领域的各种“生存技巧”之后，还为读者配备了
“先进的武器”——飞桨，内容由“武器”的制造者——飞桨产品架构师们共同撰写。高超的
“生存技巧”配以先进的“武器”，相信可以让读者更加自信地驾驭这场轰轰烈烈的AI浪潮，并大放异彩。

全书共8章，可分为3部分： 第1部分包括第1、2章，以最基础的深度学习任务（房价预测和手写数字识别）为例，内容由浅入深、层层剖析，帮助读者入门深度学习的编程并掌握深度学习各环节的优化方法； 第2部分包括第3~7章，以计算机视觉、自然语言处理和推荐系统3个深度学习常用领域的典型任务为例，介绍各领域的基础知识和应用深度学习解决实际问题的方案及实践过程，帮助读者对深度学习模型有更深刻的理解； 第3部分包含第8章，系统地介绍飞桨提供的各种武器，包括模型资源、工业化训练和部署工具以及如何基于飞桨进行二次研发。

特别感谢王海峰老师在百忙中给本书作序，您对AI发展趋势的深刻理解为我们提供了
指引方向； 感谢吴甜女士的指导和帮助，您对AI技术的热爱、对AI人才的重视和培育让本书的诞生成为可能
； 感谢马艳军、于佃海、李轩涯、周奇在本书撰写过程中的大力支持，让其更匹配深度学习读者的需求； 感谢飞桨研发工程师们为本书的写作提供基础素材，提供简洁、高效、易用的实践代码； 最后还要感谢迟恺、吴蕾、徐彤彤、聂浪、张克明等同学对于本书细致入微的校对。

如果通过本书的学习，能够让读者们有所收获，并激发大家在深度学习领域持续深耕的兴趣，那将是本书最大的荣幸。由于本书作者学识有限，深度学习方法也还在不断完善，书中难免存在疏漏之处，希望读者朋友不吝赐教，共同将这本书打造得更完美。
百度杰出架构师、飞桨产品负责人

本书从人工智能、机器学习和深度学习三者的关系开始，以深度学习在计算机视觉、自然语言处理和推荐系统的应用实践为主线，逐步剖析模型原理和代码实现。书中的内容深入浅出，通过原理与代码结合、产业实践和作业结合的方式，帮助读者更好地掌握深度学习的理论知识和深度学习开源框架的使用方法。为了让更多的读者从中受益，快速应对复杂多变的AI应用，书中还 介绍了各种模型资源和辅助工具，旨在帮助读者在人工智能的战场上和“AI大师”一样无往不利。 人工智能是一门跨学科的技术，本书既可作为深度学习的入门读物，又可作为人工智能或相关学科本科生和研究生的教材，还可供AI爱好者和从业者使用。

第1章零基础入门深度学习

1.1机器学习和深度学习综述

1.1.1人工智能、机器学习、深度学习的关系

1.1.2机器学习

1.1.3深度学习

1.2使用Python和NumPy构建神经网络模型

1.2.1波士顿房价预测任务

1.2.2构建波士顿房价预测任务的神经网络模型

1.3飞桨开源深度学习平台介绍

1.3.1深度学习框架

1.3.2飞桨产业级深度学习开源开放平台

1.4使用飞桨重写房价预测模型

1.4.1飞桨设计之“道”

1.4.2使用飞桨实现波士顿房价预测任务

1.5NumPy介绍

1.5.1概述

1.5.2基础数据类型： ndarray数组

1.5.3随机数np.random

1.5.4线性代数

1.5.5NumPy保存和导入文件

1.5.6NumPy应用举例

1.5.7飞桨的张量表示

第2章一个示例带你吃透深度学习

2.1使用飞桨完成手写数字识别模型

2.1.1手写数字识别任务

2.1.2构建手写数字识别的神经网络模型

2.1.3模型代码结构一致，大大降低了用户的编码难度

2.1.4采用“横纵式”教学法，适合深度学习初学者

2.2通过极简方案快速构建手写数字识别模型

2.3手写数字识别的数据处理

2.3.1概述

2.3.2数据读取并划分数据集

2.3.3训练样本乱序并生成批次数据

2.3.4校验数据有效性

2.3.5封装数据读取与处理函数

2.3.6异步数据读取

2.4手写数字识别的网络结构

2.4.1概述

2.4.2经典的全连接神经网络

2.4.3卷积神经网络

2.5手写数字识别的损失函数

2.5.1概述

2.5.2分类任务的损失函数

2.6手写数字识别的优化算法

2.6.1概述

2.6.2设置学习率

2.6.3学习率的主流优化算法

2.7手写数字识别的资源配置

2.7.1概述

2.7.2单GPU训练

2.7.3分布式训练

2.8手写数字识别的训练调试与优化

2.8.1概述

2.8.2计算模型的分类准确率

2.8.3检查模型训练过程，识别潜在训练问题

2.8.4加入校验或测试，更好地评价模型效果

2.8.5加入正则化项，避免模型过拟合

2.8.6可视化分析

2.9手写数字识别的模型加载及恢复训练

2.9.1概述

2.9.2恢复训练

2.10手写数字识别的动转静部署

2.10.1概述

2.10.2动态图转静态图训练

2.10.3动态图转静态图模型保存

第3章计算机视觉

3.1卷积神经网络基础

3.1.1概述

3.1.2卷积神经网络

3.2卷积神经网络的几种常用操作

3.2.1概述

3.2.2池化

3.2.3ReLU激活函数

3.2.4批归一化

3.2.5暂退法

3.3图像分类

3.3.1概述

3.3.2LeNet

3.3.3AlexNet

3.3.4VGG

3.3.5GoogLeNet

3.3.6ResNet

3.3.7使用飞桨高层API直接调用图像分类网络

第4章目标检测YOLOv3

4.1目标检测基础概念

4.1.1概述

4.1.2目标检测发展历程

4.1.3目标检测基础概念

4.2目标检测数据处理

4.3目标检测的经典算法YOLOv3

4.3.1YOLOv3设计思想

4.3.2产生候选区域

4.3.3对候选区域进行标注

4.3.4图像特征提取

4.3.5计算预测框位置和类别

4.3.6定义损失函数

4.3.7多尺度检测

4.3.8网络训练

4.3.9模型预测

4.3.10模型效果可视化

4.4AI识虫比赛

4.4.1AI识虫比赛介绍

4.4.2实现参考

4.4.3更多思路参考

第5章自然语言处理

5.1自然语言处理综述

5.1.1概述

5.1.2自然语言处理的发展历程

5.1.3自然语言处理技术面临的挑战

5.1.4自然语言处理的常见任务

5.1.5使用深度学习解决自然语言处理任务的套路

5.2词嵌入

5.2.1概述

5.2.2把词转换为向量

5.2.3让向量具有语义信息

5.2.4CBOW和Skipgram的算法实现

5.3使用飞桨实现Skipgram

5.3.1数据处理

5.3.2网络定义

5.3.3网络训练

5.3.4词嵌入的有趣使用

第6章情感分析

6.1自然语言情感分析

6.1.1概述

6.1.2使用深度神经网络完成情感分析任务

6.2循环神经网络(RNN)和长短时记忆网络(LSTM)

6.2.1RNN和 LSTM 网络的设计思考

6.2.2RNN网络结构

6.2.3LSTM网络结构

6.3使用LSTM完成情感分析任务

6.3.1概述

6.3.2使用飞桨实现基于LSTM的情感分析模型

第7章推荐系统

7.1推荐系统介绍

7.1.1推荐系统产生的背景

7.1.2推荐系统的基本概念

7.1.3思考有哪些信息可以用于推荐

7.1.4使用飞桨探索电影推荐

7.2数据处理与读取

7.2.1数据处理流程

7.2.2构建数据读取器

7.3电影推荐模型设计

7.3.1模型设计介绍

7.3.2Embedding介绍

7.3.3电影特征提取网络

7.3.4相似度计算

7.4模型训练与保存特征

7.4.1模型训练

7.4.2保存特征

7.5电影推荐

7.5.1根据用户喜好推荐电影

7.5.2几点思考收获

7.5.3在工业实践中的推荐系统

第8章精通深度学习的高级内容

8.1高级内容综述

8.1.1为什么要精通深度学习的高级内容

8.1.2高级内容包含哪些武器

8.2模型资源之一： 预训练模型应用工具PaddleHub

8.2.1概述

8.2.2预训练模型的应用背景

8.2.3快速入门PaddleHub

8.2.4PaddleHub提供的预训练模型概览

8.3模型资源之二： 飞桨产业级开源模型库

8.3.1概述

8.3.2图像分割开发套件PaddleSeg实战

8.3.3自然语言处理开发库PaddleNLP实战

8.4飞桨产业级部署工具链

8.4.1概述

8.4.2AI芯片基础和选型建议

8.4.3飞桨原生推理库Paddle Inference

8.4.4飞桨端侧轻量化推理引擎Paddle Lite

8.4.5飞桨模型压缩工具PaddleSlim

8.5设计思想、静态图、动态图和二次研发

8.5.1飞桨设计思想的核心概念

8.5.2飞桨声明式编程(静态图)与命令式编程(动态图)

8.5.3基于飞桨二次研发

8.6应用启发： 行业应用与项目示例

8.6.1人工智能在中国的发展和落地概况

8.6.2传统行业AI应用空间

8.6.3项目示例： 飞桨助力国网山东进行输电通道可视化巡检

8.6.4飞桨产业实践范例库

后记

本书从人工智能、机器学习和深度学习三者的关系开始，以深度学习在计算机视觉、自然语言处理和推荐系统的应用实践为主线，逐步剖析模型原理和代码实现。书中的内容深入浅出，通过原理与代码结合、产业实践和作业结合的方式，帮助读者更好地掌握深度学习的理论知识和深度学习开源框架的使用方法。为了让更多的读者从中受益，快速应对复杂多变的AI应用，书中还
介绍了各种模型资源和辅助工具，旨在帮助读者在人工智能的战场上和“AI大师”一样无往不利。

人工智能是一门跨学科的技术，本书既可作为深度学习的入门读物，又可作为人工智能或相关学科本科生和研究生的教材，还可供AI爱好者和从业者使用。