深度学习的理论基础与核心算法

图书标准信息

• 作者 焦李成，杨淑媛，刘芳，刘旭，田晨曦，侯彪，马文萍，尚荣华
• 出版社 清华大学出版社
• 出版时间 2023-12
• 版次 1
• ISBN 9787302630715
• 定价 99.00元
• 装帧 平装
• 开本 16开
• 页数 406页
• 字数 0.65千字

【内容简介】

:
    本书旨在给出深度学习的理论基础和核心算法的主要内容，从而有利于读者和研究者系统地掌握理论结构和脉络。本书首先介绍了深度学习的相关数学基础，主要包括线性代数、概率论、信息论三部分随后系统地介绍了深度学习的重点内容，主要分为五方面：深度学习的通近理论、深度学习的表征理论、深度学习的学习理论、深度学习的优化理论、深度学习的核心算法。
    本书可作为高等院校智能科学与技术、人工智能、计算机科学、电子科学与技术、控制科学与工程等专业本科生和研究生的教材，还可供对人工智能技术及其应用感兴趣的工程技术人员参考。

【作者简介】

焦李成，欧洲科学院外籍院士，俄罗斯自然科学院外籍院士，IEEE Fellow。现任西安电子科技大学计算机科学与技术学部主任、人工智能研究院院长、智能感知与图像理解重点*实验室主任、科技委学部委员、人工智能科技创新专家组专家、首批入选国家百千万人才工程（第一二层次）、长江学者计划创新团队负责人、“一带一路”人工智能创新联盟理事长，陕西省人工智能产业技术创新战略联盟理事长，中国人工智能学会第六-七届副理事长，IEEE/IET/CAAI/CAA/CIE/CCF Fellow，连续七年入选爱思唯尔高被引学者榜单。主要研究方向为智能感知与量子计算、图像理解与目标识别、深度学习与类脑计算。曾获国家自然科学奖二等奖、吴文俊人工智能杰出贡献奖、霍英东青年教师奖、全国模范教师称号、中国青年科技奖、及省部级一等奖以上科技奖励十余项。

【目录】

章 数学基础 1

1.1 线代数  1

1.1.1 向量及其运算  1

1.1.2 矩阵及其运算  4

1.1.3 矩阵分解  8

1.2 概率论 12

1.2.1 概率与变量 12

1.2.2 期望、方差和协方差  14

1.2.3 常见的概率分布 15

1.2.4 共轭分布  19

1.3 信息论 19

1.3.1 熵的定义  20

1.3.2 互信息  21

1.3.3 交熵  21

1.3.4 kullback-leibler散度  21

参文献  22 第2章 深度神经网络的逼近基础理论  23

2.1 函数的很好方逼近 23

2.1.1 正交多项式的定义与质  23

2.1.2 常用的正交多项式  24

2.1.3 构造正交多项式的一般方法  27

2.1.4 很好方逼近的概念及计算  27

2.1.5 用正交多项式做很好方逼近  29

2.2 曲线拟合的小二乘法 30

2.2.1 小二乘法  30

2.2.2 用多项式作小二乘曲线拟合  32

2.3 三角多项式逼近与快速傅里叶变换 33

2.3.1 很好方三角逼近与三角插值  33

2.3.2 快速傅里叶变换 35

2.4 多项式的逼近质 37

ⅳ

2.5 从函数逼近的角度解释神经网络 39

2.6 本章小结 40

参文献  41

第3章 深度神经网络的函数逼近  42

3.1 基本的 relu 网络定义  42

3.2 乘法、多项式、光滑函数的逼近 45

3.2.1 乘法函数的逼近 46

3.2.2 多项式函数的逼近  49

3.2.3 光滑函数的逼近 52

3.3 正余弦函数的逼近 52

3.3.1 余弦函数的逼近 53

3.3.2 正弦函数的逼近 55

3.4 神经网络的逼近质和深度的必要 55

3.5 本章小结 56

附录  56

参文献  59

第4章 深度神经网络的复杂函数逼近  60

4.1 神经网络的逼近 60

4.1.1 kolmogorov-donoho数据率失真理论 60

4.1.2 字典逼近  61

4.1.3 神经网络的表示 62

4.1.4 神经网络很好 m 项逼近表示  63

4.1.5 字典逼近转换为神经网络逼近  64

4.2 仿系统的神经网络逼近 65

4.2.1 仿系统的定义 65

4.2.2 仿系统对神经网络逼近的影响 66

4.2.3 神经网络对仿系统逼近证明  67

4.3 振荡纹理 69

4.3.1 振荡纹理的定义 69

4.3.2 振荡纹理的多项式逼近  69

4.3.3 振荡纹理的指数级逼近  72

4.4 weierstrass函数  75

4.4.1 weierstrass函数的定义  75

4.4.2 weierstrass函数的指数级逼近  76

4.5 本章小结 77

参文献  77

第5章 深度神经网络与多尺度几何逼近系统  78

5.1 小波分析与多尺度几何分析 78

5.1.1 由傅里叶到小波分析理论  78

ⅴ

5.1.2 gabor系统的逼近  79

5.2 多尺度几何分析的基础 86

5.2.1 由小波到多尺度几何理论  86

5.2.2 脊波变换  87

5.2.3 曲波变换  88

5.2.4 楔波变换  88

5.2.5 小线变换  89

5.2.6 条带波变换  89

5.2.7 轮廓波变换  90

5.2.8 剪切波变换  91

5.2.9 梳状波变换  91

5.2.10 方向波变换  91

5.3 多尺度几何变换的逼近质 92

5.4 本章小结 92

参文献  93

第6章 深度特征网络的构造理论  94

6.1 前馈神经网络构造理论 94

6.1.1 前馈神经网络的结构  94

6.1.2 前馈神经网络的前向传播  95

6.1.3 前馈神经网络的误差反向传播算法  95

6.1.4 前馈神经网络的梯度下降法  97

6.1.5 常见前馈神经网络  98

6.2 卷积神经网络构造理论 98

6.2.1 卷积运算  98

6.2.2 非线激活层  99

6.2.3 池化  99

6.2.4 常见的距离度量方法  99

6.2.5 常见的激活函数  101

6.2.6 卷积神经网络的生物学启发  103

6.2.7 卷积神经网络的发展  104

6.3 递归神经网络  105

6.3.1 循环神经网络  105

6.3.2 深度循环网络  106

6.3.3 递归神经网络  106

6.4 图卷积网络  107

6.4.1 图的基本定义  107

6.4.2 图信号处理  108

6.4.3 图上的滤波器  109

6.4.4 图卷积网络  110

ⅵ

6.4.5 图卷积网络的过度滑问题  111

6.4.6 图小波神经网络  112

6.5 自组织网络构造理论  113

6.5.1 自注意力模型  113

6.5.2 多头自注意力模型  114

6.5.3 transformer模型 114

6.5.4 稀疏自注意力机制  115

6.5.5 结合卷积的自注意力机制  117

6.5.6 强化自注意力模型  117

6.5.7 结合先验的自注意力机制  118

6.6 本章小结  118

参文献 118

第7章 学表征的构造理论 119

7.1 自  119

7.1.1 欠完备自  119

7.1.2 正则自  120

7.1.3 稀疏自  120

7.1.4 去噪自  121

7.1.5 卷积自  121

7.2 线  121

7.2.1 概率 pca  122

7.2.2 独立成分分析  122

7.2.3 慢特征分析  122

7.2.4 稀疏编码  123

7.3 生成模型  123

7.3.1 玻耳兹曼机  123

7.3.2 生成网络  124

7.3.3 生成对抗网络  125

7.4 变分推断  125

7.5 部分-整体层次结构  126

7.6 因果推理  128

7.6.1 从相关到因果关系  128

7.6.2 预测和因果推理的区别  129

7.6.3 因果推理的表示方式  129

7.7 本章小结  131

参文献 131

第8章 多尺度几何深度网络理论 132

8.1 小波神经网络  132

8.2 多小波网  133

ⅶ

8.3 散网  134

8.4 深度散网  135

8.5 深度曲线波散网  136

8.6 轮廓波卷积神经网络  137

8.7 本章小结  139

参文献 139

第9章 复数深度学网络 140

9.1 复数深度神经网络的相关概念  140

9.1.1 复数值的表征  140

9.1.2 复数卷积  140

9.1.3 复数可微  141

9.1.4 复数激活  141

9.1.5 复数批归一化  141

9.1.6 复数权重初始化  141

9.2 复数卷积神经网络  142

9.2.1 数学计算过程  142

9.2.2 网络结构  142

9.3 复数轮廓波网络  143

9.3.1 描述  144

9.3.2 数学计算过程  144

9.3.3 网络参数  145

9.4 半监督复数 gan  146

9.5 复数 transformer网络  147

9.6 本章小结  148

参文献 148

0章 拟合问题  149

10.1 拟合方法介绍  149

10.1.1 线回归  149

10.1.2 复杂函数拟合 151

10.1.3 通用逼近定理 153

10.2 拟合数据划分  154

10.2.1 留出法  154

10.2.2 交验证法  155

10.2.3 自助法  155

10.3 拟合能力度量  156

10.3.1 错误率和精度 156

10.3.2 率和召回率  156

10.3.3 率-召回率曲线  157

10.3.4 f1 度量与交并比  158

ⅷ

10.3.5 受试者工作特征曲线  158

10.3.6 曲线下的面积与均精度  159

10.3.7 代价敏感错误率与代价曲线  160

10.3.8 欠拟合与过拟合  161

10.4 计算复杂度  162

10.4.1 计算复杂理论基本问题  163

10.4.2 判定问题类  164

10.5 本章小结  166

参文献  166

1章 正则化理论  167

11.1 常用范数特  167

11.2 正则化理论  168

11.2.1 良态问题  168

11.2.2 tikhonov正则化定义  168

11.2.3 tikhonov正则化近似解求解  168

11.2.4 l 曲线准则  169

11.3 正则化方法  170

11.3.1 参数范数惩罚 170

11.3.2 权重衰减  171

11.3.3 噪声注入  171

11.3.4 数据增强  171

11.3.5 多任务学  172

11.3.6 提前终止  172

11.3.7 dropout  173

11.3.8 dropconnect  174

11.3.9 selfnorm 与 crossnorm  174

11.4 本章小结  175

参文献  175

2章 泛化理论  176

12.1 泛化的定义  176

12.2 泛化理论  176

12.2.1 机器学的泛化理论  177

12.2.2 基于模型复杂度的泛化理论  179

12.2.3 基于信息论的泛化理论  180

12.2.4 基于梯度下降算法的泛化理论  181

12.2.5 基于损失曲面几何结构的泛化理论  183

12.2.6 基于傅里叶分析的泛化理论  184

12.2.7 基于未标记数据的泛化理论  187

12.3 泛化方法  188

ⅸ

12.3.1 数据处理  188

12.3.2 特征表示  188

12.3.3 训练策略  189

12.3.4 学方法  189

12.4 本章小结  190

参文献  190

3章 学可解释  191

13.1 深度学的可解释基本概念  191

13.1.1 可解释的概念  191

13.1.2 研究可解释的必要  192

13.2 深度学的可解释分类方法  193

13.2.1 学深度过程的可解释方法  193

13.2.2 学深度网络表示的可解释方法  196

13.2.3 学深度系统自身可解释的生成方法  198

13.2.4 其他类别方法 199

13.3 深度卷积框架的可解释  200

13.3.1 卷积的 hankel矩阵表示 200

13.3.2 hankel矩阵分解和卷积框架  204

13.3.3 深度卷积框架进行多分辨率分析  205

13.4 本章小结  209

参文献  209

4章 收敛理论  210

14.1 收敛问题  210

14.1.1 收敛问题定义 210

14.1.2 收敛与一致收敛之间的差异  210

14.2 单隐藏层神经网络的收敛  211

14.2.1 基本设与判定指标  211

14.2.2 基于 sgd 算法的收敛  212

14.2.3 基于自适应梯度算法的收敛  214

14.2.4 基于动量自适应算法的收敛  216

14.3 非线神经网络的收敛  222

14.3.1 基本设与判定指标  222

14.3.2 基于 sgd 算法的收敛  226

14.3.3 基于自适应梯度算法的收敛  233

14.4 深度神经网络的收敛  234

14.4.1 深度线神经网络的收敛  234

14.4.2 深度非线神经网络的收敛  238

14.5 本章小结  241

参文献  241

ⅹ

5章 学模型的复杂度  242

15.1 复杂度的基本概念  242

15.2 与动态训练无关  243

15.2.1 vc 维及其扩展  243

15.2.2 表达能力  243

15.3 与动态训练相关  246

15.3.1 rademacher复杂度  246

15.3.2 表达能力  246

15.3.3 有效复杂度  247

15.4 表达能力与有效复杂度  248

15.5 本章小结  249

参文献  249

6章 一阶优化方法  250

16.1 导数和梯度  250

16.2 梯度下降算法  251

16.2.1 批量梯度下降 251

16.2.2 梯度下降 251

16.2.3 小批量梯度下降  251

16.3 动量  252

16.4 自适应学率  254

16.4.1 adagrad  254

16.4.2 rmsprop  255

16.4.3 adadelta  255

16.4.4 adam  256

16.4.5 amsgrad  257

16.4.6 adamax  257

16.4.7 nadam  257

16.4.8 sparseadam  258

16.5 减少方差的方法  258

16.6 交替方向乘子法  259

16.7 frank-wolfe方法  259

16.8 投影梯度下降算法  260

16.9 本章小结  261

参文献  261

7章 高阶优化方法  262

17.1 共轭梯度法  262

17.2 牛顿法及其变体  264

17.2.1 牛顿法  264

17.2.2 切割牛顿法  264

ⅺ

17.2.3 拟牛顿法  265

17.2.4 dfp法  266

17.2.5 bfgs法  266

17.2.6 拟牛顿法 267

17.3 不含海森矩阵的很优化方法  268

17.4 自然梯度法  270

17.5 信任区域法  270

17.6 本章小结  271

参文献  271

8章 启发式学优化  272

18.1 启发式算法  272

18.1.1 传统启发式算法  272

18.1.2 元启发式算法 272

18.2 基于 o 算法的深度神经网络学 273

18.2.1 o 算法  273

18.2.2 基于 o 的深度神经网络算法的学 274

18.3 基于疫优化算法的深度神经网络学  274

18.3.1 疫优化算法 274

18.3.2 基于疫优化的 rbf深度神经网络算法的学  274

18.4 基于量子优化算法的网络学  276

18.4.1 量子优化算法发展及研究现状  276

18.4.2 基于量子离散多目标粒子群算法的学  276

18.5 本章小结  279

参文献  279

9章 进化深度学  280

19.1 进化计算与深度学  280

19.1.1 进化计算  280

19.1.2 基于进化计算的深度学  281

19.2 收敛分析  283

19.2.1 基于压缩映的收敛分析  283

19.2.2 基于熵方法的收敛分析  284

19.3 网络结构优化  287

19.3.1 神经网络结构搜索  287

19.3.2 基于单目标进化的神经网络架构搜索  288

19.3.3 基于多目标进化的 nas  289

19.4 网络权重优化  290

19.