深度学习必学的十个问题——理论与实践

人工智能技术广泛出现在各个应用场景中，包括人脸识别、语音识别、机器对话、推荐系统等方面，其背后离不开数据的增加和算力的增强。统计学习和深度学习作为人工智能技术的两大核心也日益受到人们的关注，虽然目前现阶段的人工智能和真正的“智能”无法相提并论，但理解和掌握统计学习和深度学习知识会让我们更加接近“通用智能”的理想。
关于人工智能的书籍浩如烟海，大部分人已经对于大部头的书籍望而生畏，但又希望获得体系化的知识，而本书有两个重要的特点： 
1. 更强调对理论的深入理解。针对性地选择了20个主题，希望可以解决很多人面临的困境——不满足于知识堆砌，想达到体系化的理解。例如对于大多数书直接引入的sigmoid和softmax函数，本书会介绍其背后隐藏的广义线性模型； 还比如大多数书直接引入的正则化作为过拟合的常用手段，本书会介绍其与极大后验估计的关系……
2. 用代码实践结合理论讲解。采用了算法理论和代码实践相结合的方式，在这里代码实践提供了算法实现的某一种或者某几种方式，其目的主要是用来更好地理解算法。在这里，算法和代码的关系，更像是理论与实验的关系，我们用实验来帮助大家更好地理解理论。
本书包含深度学习的知识，分为10章。第1章节介绍深度学习的简洁发展思路和表示学习机制； 第2章、第3章介绍神经网络的基于梯度的优化方法、神经网络的优化难点以及相应的解决办法； 第4章讨论神经网络也会遇到的过拟合问题； 第5章分析神经网络的小组成部分——神经元； 第6章讨论三种方案解决深层网络的训练难题： 批标准化、SELU、ResNet； 第7章、第8章讲述两种重要的神经网络模型，即卷积神经网络和循环神经网络； 第9章讨论对于神经网络的无监督学习方式； 第10章详细讨论以变分自编码器和对抗生成网络为代表的概率生成网络。
人工智能的发展太过迅速，本书只是广阔无边大海里的一艘小小船。学问广袤无际，做学问更要勤勉躬亲，作者深知诠才末学，书中难免有不足之处，希望大家指正和交流，感激不尽。

编者

2021年5月

深度学习是目前***的技术领域。本书兼顾了数学上的理解和代码实践，内容主要包括基础知识和深度学习模型。第1章 介绍深度学习的简洁发展思路和表示学习机制； 第2章、第3章介绍神经网络的基于梯度的优化方法、神经网络的优化难点以及相应的解决方法； 第4章讨论神经网络遇到的过拟合问题； 第5章分析神经网络的小组成部分——神经元； 第6章讨论三种方案解决深层网络的训练难题： 批标准化、SELU、ResNet； 第7章、第8章讲述了两种重要的神经网络模型： 卷积神经网络和循环神经网络； 第9章讨论了对于神经网络的无监督学习方式； 第10章详细讨论以变分自编码器和对抗生成网络为代表的概率生成网络。 本书适合对于深度学习感兴趣的大学生、工程师阅读参考。阅读本书需要具备基础的Python编程技术和基本的数学知识。

李轩涯，单位：百度公司，职务、职称：高级工程师，性别：男，年龄：33，专业：计算机科学与技术，学历：博士，研究成果：中国计算机学会杰出会员、常务理事，中国计算机实践教育联合会副理事长。现主管百度校企合作、校企联合人才培养、校园粉丝生态圈，帮助百度技术、人才及产品品牌在高校领域的推广与影响力传播。

第1章作为机器学习模型的神经网络

1.1表示学习

1.2感知器与神经网络

1.3使用keras

第2章神经网络的训练

2.1基于梯度的一阶优化

2.2基于梯度的二阶优化

2.3普通训练方法的局限

2.4误差反向传播算法的本质

2.5使用keras

第3章神经网络的优化难题

3.1局部极小值，鞍点和非凸优化

3.2随机梯度下降的优势

3.3梯度方向优化

3.4动态调整学习率

3.5使用keras

第4章神经网络的过拟合

4.1参数绑定和提前终止

4.2数据增强和噪声添加

4.3Dropout

4.4使用keras

第5章神经网络的神经单元

5.1梯度消失和梯度爆炸

5.2隐藏单元设计原则和sigmoid的非零中心

5.3基于线性函数的改进和maxout单元

5.4使用keras

第6章神经网络的深度训练

6.1预处理和批标准化

6.2批标准化的不同视角： 协变量偏差和协调更新

6.3自归一化神经网络

6.4ResNet

6.5使用keras

第7章卷积神经网络

7.1局部连接和权重共享

7.2卷积操作的重要概念

7.3卷积核的参数学习

7.4基于感受野的三个卷积技巧

7.5使用keras

第8章循环神经网络

8.1理解循环结构

8.2循环结构的参数学习

8.3正交初始化和记忆容量

8.4理解LSTM

8.5使用keras

第9章无监督表示学习： 自编码器

9.1自编码器

9.2稀疏自编码器

9.3收缩自编码器

9.4使用keras

第10章概率生成模型

10.1变分自编码器

10.2生成对抗网络

10.3使用keras

参考文献

深度学习是目前***的技术领域。本书兼顾了数学上的理解和代码实践，内容主要包括基础知识和深度学习模型。第1章 介绍深度学习的简洁发展思路和表示学习机制； 第2章、第3章介绍神经网络的基于梯度的优化方法、神经网络的优化难点以及相应的解决方法； 第4章讨论神经网络遇到的过拟合问题； 第5章分析神经网络的小组成部分——神经元； 第6章讨论三种方案解决深层网络的训练难题： 批标准化、SELU、ResNet； 第7章、第8章讲述了两种重要的神经网络模型： 卷积神经网络和循环神经网络； 第9章讨论了对于神经网络的无监督学习方式； 第10章详细讨论以变分自编码器和对抗生成网络为代表的概率生成网络。 本书适合对于深度学习感兴趣的大学生、工程师阅读参考。阅读本书需要具备基础的Python编程技术和基本的数学知识。

李轩涯，单位：百度公司，职务、职称：高级工程师，性别：男，年龄：33，专业：计算机科学与技术，学历：博士，研究成果：中国计算机学会杰出会员、常务理事，中国计算机实践教育联合会副理事长。现主管百度校企合作、校企联合人才培养、校园粉丝生态圈，帮助百度技术、人才及产品品牌在高校领域的推广与影响力传播。