深度学习

图书标准信息

• 作者 陈蔼祥 著
• 出版社 清华大学出版社
• 出版时间 2020-08
• ISBN 9787302546597
• 定价 79.00元

【内容简介】

本书初定五个章节，第一章浅层模型部分介绍线性回归、Logistics 回归、Softmax 回归、广义线性回归模型以及机器学习基本概念。第二章介绍深度学习模型以及相应的正则化技术。第三章介绍卷积的物理意义、卷积神经网络及其各种改进。第四章介绍反馈神经网络及其改进的长短期记忆单元。第五章介绍深度强化学习，展示深度卷积网络如何与强化学习技术融合用以人机围棋博弈以及自动驾驶领域。

【作者简介】

陈蔼祥，中山大学博士，广东财经大学统计与数学学院副院长，先后访问美国韦恩州立大学、北京大学

【目录】

目录

 

第 1章浅层模型 ............................................................... 1 

 

1.1深度学习史前发展史 ........................................................ 1 

 

1.1.1数据分析的初级阶段：手工演算阶段 ........................................ 1 

 

1.1.2数据分析的中级阶段：浅层模型阶段 ......................................... 3 

 

1.1.3数据分析的高级阶段：大数据深度学习阶段 .................................. 4 

 

1.2线性回归模型 .............................................................. 7 

 

1.2.1极小二乘线性回归 ........................................................ 8 

 

1.2.2模型选择：模型容量与过拟合和欠拟合问题 ................................ 19 

 

1.2.3属性空间、假设函数空间与基于核函数的特征映射 ...................... 22 

 

1.2.4特征选择 ............................................................... 26 

 

1.2.5回归分析的概率解释 ..................................................... 32 

 

1.3 Logistics二分类模型 ..................................................... 33 

 

1.4 Softmax多分类模型 ....................................................... 37 

 

1.5 广义线性模型 ............................................................ 42

 

参考文献 .................................................................... 52

 

 

第 2章深度神经网络 .......................................................... 56 

 

2.1引言 ..................................................................... 56 

 

2.2 BP神经网络 .............................................................. 58 

 

2.2.1从生物神经元到 MP神经元模型 .......................................... 58 

 

2.2.2 BP神经网络结构 ........................................................ 59 

 

2.2.3 BP算法 ................................................................ 64 

 

2.2.4 BP算法算例 ............................................................ 72 

 

2.3从 BP网络到深度网络 ...................................................... 73 

 

2.3.1梯度消失：多层 BP网络训练难题 ........................................... 74 

 

2.3.2逐层贪心预训练 +全局微调 ............................................. 76 

 

2.4深度网络的进一步解释 ..................................................... 83 

 

2.5克服过拟合：深度网络中的正则化技术 ........................................ 85 

 

2.5.1模型约束技术 ........................................................... 86 

 

2.5.2输入约束技术 ........................................................... 88 

 

2.5.3模型集成技术 ........................................................... 92 

 

2.6深度网络发展史 ........................................................... 98 

 

2.6.1早期神经网络模型（ 1958―1969年） ....................................... 98 

 

2.6.2深度学习萌芽期（ 1969―2006年） .......................................... 99 

 

2.6.3深度学习爆发期（2006年至今） ............................................100

 

参考文献 ....................................................................101

 

 

第 3章卷积神经网络 .........................................................108 

 

3.1引言 ....................................................................108 

 

3.2卷积的数学公式及其含义 .................................................109 

 

3.3卷积神经网络的技术细节 .................................................114 

 

3.3.1计算机“眼”中的图像 ...............................................115 

 

3.3.2卷积神经网络 ..........................................................116 

 

3.3.3卷积神经网络的结构 .................................................116 

 

3.3.4 CNNs训练算法 ..........................................................121 

 

3.3.5卷积网提取特征的可视化 .............................................129 

 

3.4 CNNs的变体 ..............................................................131 

 

3.4.1关于卷积核的变体 .....................................................132 

 

3.4.2关于卷积通道的变体 ..................................................136 

 

3.4.3关于卷积层连接的变体 .................................................141 

 

3.5卷积网络在自动驾驶中的应用 .............................................145 

 

3.6 卷积网络发展史 .........................................................146

 

参考文献 ................................................................148

 

 

第 4章反馈神经网络 ........................................................151 

 

4.1引言 ....................................................................151 

 

4.2反馈神经网络 ............................................................153 

 

4.2.1统计语言模型 .......................................................154 

 

4.2.2 RNNs的网络结构 ........................................................158 

 

4.2.3 RNNs的训练算法：BPTT ...............................................162 

 

4.2.4 RNNs的误差沿时间轴传播公式 .........................................170 

 

4.2.5 RNNs的变体 ..........................................................172 

 

4.3长短期记忆单元反馈神经网络 ............................................175 

 

4.3.1早期解决长时间序列学习难题的朴素方法 .................................176 

 

4.3.2 LSTM网络结构 .........................................................177 

 

4.3.3 LSTM的前向计算 ....................................................179 

 

4.3.4 LSTM的反向计算 .....................................................181 

 

4.3.5 LSTM的权值更新 .....................................................184 

 

4.3.6理解 LSTM网络 ........................................................186 

 

4.4时间序列处理中的几种重要机制 ..........................................188 

 

4.4.1处理变长序列的编码器-解码器模型 ..................................189 

 

4.4.2注意力机制 ............................................................192 

 

4.4.3序列自动对齐的 CTC技术 .............................................195 

 

4.4.4小结 .............................................................215 

 

4.5深度反馈网络在时间序列处理中的应用 ....................................216 

 

4.5.1 Google神经机器翻译系统 ...............................................216 

 

4.5.2深度语音识别系统 ..................................................219 

 

4.5.3用 LSTM编程和写作 ..................................................223 

 

4.6 反馈神经网络发展现状 ....................................................229

 

参考文献 ...................................................................229

 

 

第 5章深度强化学习 .........................................................234 

 

5.1引言 ....................................................................234 

 

5.2马尔可夫决策过程 .....................................................238 

 

5.2.1马尔可夫过程 .......................................................239 

 

5.2.2马尔可夫奖励过程 .....................................................243 

 

5.2.3马尔可夫决策过程 .....................................................246 

 

5.2.4广义策略迭代 ..........................................................255 

 

5.2.5小结 .................................................................257 

 

5.3强化学习算法 ............................................................257 

 

5.3.1动态规划算法 ........................................................258 

 

5.3.2蒙特卡罗算法 ..........................................................263 

 

5.3.3时间差分学习算法 ......................................................274 

 

5.3.4小结 ..................................................................297 

 

5.4深度强化学习算法 ........................................................299 

 

5.4.1基于深度网络的状态价值和动作价值函数近似 ...........................301 

 

5.4.2基于深度网络的策略梯度法 ..........................................307 

 

5.5深度强化学习的应用 .....................................................317 

 

5.5.1围棋 AlphaGo ........................................................317 

 

5.5.2从 AlphaGo到 AlphaGo Zero............................................332 

 

5.5.3基于像素的乒乓球游戏 .................................................341 

 

5.6深度强化学习发展现状 ................................................344 

 

5.6.1强化学习起源与发展现状 ................................................344 

 

5.6.2深度强化学习在棋类中的应用 ............................................345 

 

5.6.3深度强化学习技术在自主智能体中的应用 .................................347

 

参考文献 ..................................................................350

 

后记 ........................................................................353