深度学习的几何学——信号处理视角

图书标准信息

• 作者 [韩]芮钟喆
• 出版社 电子工业出版社
• 出版时间 2023-01
• 版次 1
• ISBN 9787121447990
• 定价 79.00元
• 装帧 其他
• 开本 16开
• 页数 256页
• 字数 99999千字

【内容简介】

深度学习是人工智能与机器学习领域的重要研究分支，经过短短十几年的发展，已经在计算机视觉与图像处理、自然语言处理等领域取得令人瞩目的成就。本书作为深度学习方面的专门书籍，融合了机器学习、人工神经网络和深度学习的相关概念，并且从信号处理视角呈现了深度学习背后的几何学原理，以便从统一的角度去深化理解深度学习的主要模型和算法，从而更好地用于指导理论分析和实践开发。全书分为三个部分，共14章。第1～4章为第一部分，主要介绍机器学习基础知识，包括向量空间、矩阵代数、凸优化等数学预备知识，以及支持向量机、核回归等经典机器学习技术；第5～9章为第二部分，主要介绍深度学习的构成要素，包括人工神经网络与反向传播、卷积神经网络、图神经网络及归一化和注意力机制，重点介绍这些模型背后的数学原理和几何解释；第10~14章为第三部分，主要介绍深度学习的高级主题，包括深度神经网络几何学、深度学习优化与泛化能力，以及生成模型与无监督学习。

【作者简介】

Jong Chul Ye（芮钟喆）于1999年获美国普渡大学博士学位，现任韩国科学技术院（Korea Advanced Institute for Science and Technology，KAIST）生物与脑工程系教授和数学科学系兼职教授；长期从事压缩感知图像重建、信号处理和机器学习等研究；是IEEE Fellow，IEEE SPS计算成像技术委员会主席；目前是IEEE Transactions on Medical Imaging副主编、IEEE Signal Processing Magazine资深编辑，以及BMC Biomedical Engineering部门编辑；曾担任2020 IEEE Symposium on Biomedical Imaging（ISBI）大会共主席，IEEE Transactions on Image Processing、IEEE Transactions on Computational Imaging、Journal of Electronic Imaging副主编，Magnetic Resonance in Medicine编委会成员，以及Physics in Medicine and Biology国际咨询委员会成员。

周浦城，博士，副教授，先后主持或参加国家863、自然科学基金、武器装备预研、军内科研等课题20余项，公开发表论文80余篇，其中SCI检索3篇、EI检索45篇。

【目录】

第一部分  机器学习基础

第1章  数学预备知识2

1.1  度量空间2

1.2  向量空间3

1.3  巴拿赫空间与希尔伯特空间4

1.4  概率空间7

1.5  矩阵代数8

1.5.1  Kronecker积10

1.5.2  矩阵与向量微积分11

1.6  凸优化基础12

1.6.1  基本概念12

1.6.2  凸集与凸函数14

1.6.3  次微分15

1.6.4  凸共轭16

1.6.5  拉格朗日对偶公式18

1.7  习题20

第2章  线性与核分类器22

2.1  引言22

2.2  硬间隔线性分类器23

2.2.1  可分离情况的最大间隔

      分类器23

2.2.2  对偶公式25

2.2.3  KKT条件与支持向量26

2.3  软间隔线性分类器27

2.4  采用核SVM的非线性

     分类器29

2.4.1  特征空间中的线性

      分类器29

2.4.2  核技巧30

2.5  图像分类的经典方法31

2.6  习题32

第3章  线性回归、逻辑回归与

        核回归34

3.1  引言34

3.2  线性回归34

3.3  逻辑回归36

3.3.1  对数概率与线性回归36

3.3.2  使用逻辑回归进行

      多分类37

3.4  岭回归38

3.5  核回归39

3.6  回归中的偏差-方差权衡41

3.7  习题43

第4章  再生核希尔伯特空间与

        表示定理44

4.1  引言44

4.2  再生核希尔伯特空间45

4.2.1  特征映射和核46

4.2.2  再生核希尔伯特空间的

      定义47

4.3  表示定理49

4.4  表示定理的应用50

4.4.1  核岭回归50

4.4.2  核SVM51

4.5  核机器的优缺点53

4.6  习题53

第二部分  深度学习的构成要素

第5章  生物神经网络56

5.1  引言56

5.2  神经元56

5.2.1  神经元解剖56

5.2.2  信号传输机制57

5.2.3  突触可塑性58

5.3  生物神经网络59

5.3.1  视觉系统60

5.3.2  Hubel-Wiesel模型60

5.3.3  Jennifer Aniston细胞61

5.4  习题62

第6章  人工神经网络与反向传播64

6.1  引言64

6.2  人工神经网络64

6.2.1  符号约定64

6.2.2  单个神经元建模65

6.2.3  多层前馈神经网络67

6.3  人工神经网络训练68

6.3.1  问题描述68

6.3.2  优化器69

6.4  反向传播算法72

6.4.1  反向传播算法的推导72

6.4.2  反向传播算法的几何

      解释75

6.4.3  反向传播算法的变分

      解释75

6.4.4  局部变分公式77

6.5  习题78

第7章  卷积神经网络80

7.1  引言80

7.2  现代卷积神经网络发展

     简史81

7.2.1  AlexNet81

7.2.2  GoogLeNet81

7.2.3  VGGNet83

7.2.4  ResNet83

7.2.5  DenseNet84

7.2.6  U-Net84

7.3  卷积神经网络的基础构件85

7.3.1  卷积85

7.3.2  池化与反池化87

7.3.3  跳跃连接89

7.4  训练卷积神经网络90

7.4.1  损失函数90

7.4.2  数据划分90

7.4.3  正则化91

7.5  卷积神经网络可视化92

7.6  卷积神经网络的应用94

7.7  习题95

第8章  图神经网络98

8.1  引言98

8.2  数学基础100

8.2.1  定义100

8.2.2  图同构100

8.2.3  图着色101

8.3  相关工作102

8.3.1  词嵌入102

8.3.2  损失函数105

8.4  图嵌入105

8.4.1  矩阵分解方法106

8.4.2  随机游走方法106

8.4.3  神经网络方法107

8.5  WL同构测试与图神经

     网络109

8.5.1  WL同构测试109

8.5.2  图神经网络作为WL

      测试110

8.6  总结和展望111

8.7  习题111

第9章  归一化和注意力113

9.1  引言113

9.2  归一化115

9.2.1  批量归一化115

9.2.2  逐层和实例归一化116

9.2.3  自适应实例归一化117

9.2.4  白化与着色变换119

9.3  注意力120

9.3.1  代谢型受体：生物学

      类比120

9.3.2  空间注意力的数学建模121

9.3.3  通道注意力123

9.4  应用124

9.4.1  StyleGAN124

9.4.2  自注意力GAN125

9.4.3  注意力GAN126

9.4.4  图注意力网络127

9.4.5  Transformer128

9.4.6  BERT130

9.4.7  GPT133

9.4.8  视觉Transformer135

9.5  归一化与注意力的数学

     分析136

9.6  习题138

第三部分  深度学习的高级主题

第10章  深度神经网络几何学141

10.1  引言141

10.2  实例探究142

10.2.1  单隐层感知器142

10.2.2  框架表示143

10.3  卷积小波框架146

10.3.1  卷积与Hankel矩阵146

10.3.2  卷积小波框架展开148

10.3.3  与卷积神经网络的

       联系148

10.3.4  深度卷积小波框架150

10.4  卷积神经网络的几何学152

10.4.1  非线性的作用152

10.4.2  非线性是归纳学习的

       关键153

10.4.3  表达能力153

10.4.4  特征的几何意义154

10.4.5  自编码器的几何理解159

10.4.6  分类器的几何理解161

10.5  尚待解决的问题161

10.6  习题163

第11章  深度学习优化164

11.1  引言164

11.2  问题描述164

11.3  Polyak-?ojasiewicz型收敛性

      分析165

11.4  Lyapunov型收敛性分析169

11.4.1  神经正切核171

11.4.2  无限宽极限的神经正

       切核172

11.4.3  一般损失函数的神经正

       切核173

11.5  习题174

第12章  深度学习的泛化能力175

12.1  引言175

12.2  数学基础175

12.2.1  Vapnik-Chervonenkis界178

12.2.2  Rademacher复杂度界180

12.2.3  PAC贝叶斯界183

12.3  利用双下降模型协调泛化

      ?鸿沟184

12.4  归纳偏置优化187

12.5  基于算法鲁棒性的泛化界188

12.6  习题190

第13章  生成模型与无监督学习192

13.1  引言192

13.2  数学基础193

13.3  统计距离196

13.3.1  f散度196

13.3.2  Wasserstein度量197

13.4  最优传输199

13.4.1  Monge原始公式199

13.4.2  Kantorovich公式200

13.4.3  熵正则化202

13.5  生成对抗网络203

13.5.1  GAN的最初形式203

13.5.2  f?CGAN205

13.5.3  Wasserstein GAN207

13.5.4  StyleGAN208

13.6  自编码器型生成模型208

13.6.1  ELBO209

13.6.2  变分自编码器209

13.6.3  β?CVAE212

13.6.4  归一化流与可逆流213

13.7  通过图像翻译进行无监督

      ?学习216

13.7.1  Pix2pix216

13.7.2  CycleGAN217

13.7.3  StarGAN219

13.7.4  协同GAN222

13.8  总结与展望224

13.9  习题224

第14章  总结与展望226

附录A  专业术语中英文对照表228

参考文献234