迁移学习导论

图书标准信息

• 作者 王晋东
• 出版社 电子工业出版社
• 出版时间 2021-05
• 版次 1
• ISBN 9787121410895
• 定价 109.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 296页
• 字数 316.000千字

【内容简介】

迁移学习作为机器学习和人工智能领域的重要方法，在计算机视觉、自然语言处理、语音识别等领域都得到了广泛的应用。本书的编写目的是帮助迁移学习及机器学习相关领域的初学者快速入门。全书主要分为背景与概念、方法与技术、扩展与探索及应用与展望四大部分。除此之外，本书还配有相关的代码、数据和论文资料，*限度地降低初学者的学习和使用门槛。
  本书适合对迁移学习感兴趣的读者阅读，也可以作为相关课程的配套教材。

【作者简介】

王晋东

微软亚洲研究院研究员、中国科学院计算技术研究所博士，主要从事迁移学习、机器学习和深度学习方面的研究。研究成果发表在IEEE TNNLS、ACM TIST、CVPR、IJCAI、ACMMM、UbiComp等顶级期刊和会议，获得国家奖学金、中国科学院优秀博士论文奖、中科院计算所所长特别奖学金等。担任国际会议IJCAI 2019的宣传主席、顶级国际期刊会议IEEE TPAMI、TKDE、ICML、NeurIPS、ICLR、CVPR等的审稿人或程序委员会委员。热心知识分享，在知乎的博客文章浏览次数逾700万次。  

陈益强

中国科学院计算技术研究所所务委员、研究员、CCF Fellow，主要研究人机交互与普适计算，联邦学习与迁移学习等。

任北京市移动计算与新型终端重点实验室主任、中科院计算所泛在计算系统研究中心主任；曾入选国家“万人计划”科技创新领军人才、科技部中青年科技创新领军人才、北京市科技新星等；国务院特殊津贴专家，东京大学、南洋理工大学兼职教授，IEEE计算智能等6个刊物的编委，IEEE可穿戴与智能交互技术委员会创始委员等。获 IJCAI-FL等人工智能和普适计算领域最佳论文奖 6 项；相关成果获国家科技进步二等奖及中国计算机学会技术发明一等奖等。

【目录】

第一部分背景与概念

第1 章绪论                              3

1.1 迁移学习                          3

1.2 相关研究领域                       6

1.3 迁移学习的必要性                     8

1.3.1 大数据与少标注之间的矛盾              8

1.3.2 大数据与弱计算能力的矛盾              8

1.3.3 有限数据与模型泛化能力的矛盾            9

1.3.4 普适化模型与个性化需求的矛盾            9

1.3.5 特定应用的需求                   10

1.4 迁移学习的研究领域                    11

1.4.1 按特征空间分类                   12

1.4.2 按目标域有无标签分类                12

1.4.3 按学习方法分类                   12

1.4.4 按离线与在线形式分类                13

1.5 迁移学习的应用                      14

1.5.1 计算机视觉                     14

1.5.2 自然语言处理                    15

1.5.3 普适计算与人机交互                 16

1.5.4 医疗健康                      17

1.6 学术会议和工业界中的迁移学习              18

 

第2 章从机器学习到迁移学习                   21

2.1 机器学习及基本概念                    21

2.2 结构风险最小化                      22

2.3 数据的概率分布                      23

2.4 概念与符号                        25

2.5 迁移学习的问题定义                    26

 

第3 章迁移学习基本问题                      29

3.1 何处迁移                          30

3.2 何时迁移                          32

3.3 如何迁移                          32

3.4 失败的迁移：负迁移                    33

3.5 完整的迁移学习过程                    35

 

第二部分方法与技术

 

第4 章迁移学习方法总览                      39

4.1 迁移学习总体思路                     39

4.2 分布差异的度量                      40

4.2.1 百花齐放的迁移学习分布度量             41

4.2.2 分布差异的统一表征                 42

4.2.3 分布自适应因子的计算                44

4.3 迁移学习统一表征                     45

4.3.1 样本权重迁移法                   46

4.3.2 特征变换迁移法                   47

4.3.3 模型预训练迁移法                  48

4.3.4 小结                         48

4.4 上手实践                          48

4.4.1 数据准备                      49

4.4.2 基准模型构建：KNN                  51

4.5 迁移学习理论                       53

4.5.1 概念与符号                     54

4.5.2 基于H-divergence 的理论分析            54

4.5.3 基于HΔH-distance 的理论分析           55

4.5.4 基于差异距离的理论分析               57

4.5.5 结合标签函数差异的理论分析             58

 

第5 章样本权重迁移法                       59

5.1 问题定义                          59

5.1.1 样本权重迁移法的可行性分析             59

5.1.2 形式化定义                     60

5.2 基于样本选择的方法                    61

5.2.1 基于非强化学习的样本选择法             62

5.2.2 基于强化学习的样本选择法              63

5.3 基于权重自适应的方法                  64

5.4 上手实践                          66

5.5 小结                            68

 

第6 章统计特征变换迁移法                    69

6.1 问题定义                          69

6.2 最大均值差异法                      70

6.2.1 基本概念                      70

6.2.2 基于最大均值差异的迁移方法             72

6.2.3 求解与计算                     75

6.2.4 应用与扩展                     76

6.3 度量学习法                        78

6.3.1 从预定义的距离到可学习的距离            78

6.3.2 度量学习及其形式化                 79

6.3.3 基于度量学习的迁移学习               80

6.4 上手实践                          81

6.4.1 算法精炼                      81

6.4.2 编写代码                      82

6.5 小结                            84

 

第7 章几何特征变换迁移法                    85

7.1 问题定义                          85

7.2 子空间变换法                       86

7.3 流形学习法                        87

7.3.1 流形学习                      87

7.3.2 基于流形学习的迁移学习方法             88

7.4 最优传输法                        91

7.4.1 最优传输                      91

7.4.2 基于最优传输法的迁移学习方法            92

7.5 上手实践                          94

7.6 小结                            97

 

第8 章预训练方法                          99

8.1 深度网络的可迁移性                    99

8.2 预训练–微调                        102

8.3 预训练方法的有效性分析                 105

8.4 自适应的预训练方法                    106

8.5 重新思考预训练模型的使用                108

8.6 上手实践                          110

8.7 小结                            113

 

第9 章深度迁移学习                        115

9.1 总体思路                          116

9.2 深度迁移学习的网络结构                 117

9.2.1 单流结构                      118

9.2.2 双流结构                      118

9.3 数据分布自适应的深度迁移学习方法           120

9.3.1 边缘分布自适应                   120

9.3.2 条件、联合与动态分布自适应             121

9.4 结构自适应的深度迁移学习方法              122

9.4.1 批归一化                      123

9.4.2 批归一化用于迁移学习                123

9.4.3 基于多表示学习的迁移网络结构            124

9.5 知识蒸馏                          125

9.6 上手实践                          127

9.6.1 网络结构                      127

9.6.2 损失                         129

9.6.3 训练                         131

9.6.4 测试                         132

9.7 小结                            133

 

第10 章对抗迁移学习                        135

10.1 生成对抗网络                       135

10.2 对抗迁移学习基本思路                  136

10.3 数据分布自适应的对抗迁移方法             137

10.4 基于信息解耦的对抗迁移方法              140

10.5 基于数据生成的对抗迁移方法              141

10.6 上手实践                         142

10.6.1 领域判别器                     143

10.6.2 分布差异计算                    143

10.6.3 梯度反转层                     144

10.7 小结                           145

 

第11 章迁移学习热门研究问题                  147

11.1 类别不均衡的迁移学习                  148

11.2 多源迁移学习                       150

11.3 开放集迁移学习                     153

11.4 时间序列的迁移学习                   154

11.5 联邦迁移学习                       158

11.5.1 联邦学习                      158

11.5.2 联邦迁移学习                    160

11.6 基于因果关系的迁移学习                 161

11.6.1 什么是因果关系                   161

11.6.2 因果关系与迁移学习                 163

11.7 自动迁移学习                       168

11.8 在线迁移学习                       171

 

第三部分扩展与探索

 

第12 章领域泛化                          177

12.1 领域泛化问题                       177

12.1.1 背景                        177

12.1.2 问题定义                      179

12.1.3 常用方法                      180

12.2 基于数据分布自适应的方法               181

12.2.1 领域无关成分分析DICA               181

12.2.2 深度数据分布自适应                 183

12.3 基于解耦的方法                     184

12.4 基于集成模型的方法                   186

12.5 基于数据生成的方法                   187

12.5.1 领域随机法                     187

12.5.2 对抗数据生成                    188

12.6 基于元学习的方法                    190

12.7 小结                           191

 

第13 章元学习                            193

13.1 元学习简介                        193

13.1.1 问题背景                      193

13.1.2 元学习                       194

13.2 基于模型的元学习方法                  196

13.3 基于度量的元学习方法                  198

13.4 基于优化的元学习方法                  199

13.5 元学习的应用与挑战                   201

13.5.1 应用                        201

13.5.2 现存的挑战                     202

13.6 小结                           202

 

第14 章迁移学习模型选择                     205

14.1 模型选择                         205

14.2 基于密度估计的模型选择                 206

14.3 迁移交叉验证                       207

14.4 小结                           208

 

第四部分应用与展望

 

第15 章迁移学习的应用                      211

15.1 计算机视觉                        212

15.2 自然语言处理                       214

15.3 语音识别与合成                     216

15.4 普适计算与人机交互                   218

15.5 医疗健康领域                       220

15.6 其他应用                         223

15.7 小结                           225

 

第16 章迁移学习前沿                        227

16.1 融合人类经验的迁移                   227

16.2 迁移强化学习                       228

16.3 迁移学习的可解释性                   228

16.4 迁移学习系统                       229

 

附录A                                   231

A.1 常用度量准则                       231

A.1.1 常见的几种距离                   231

A.1.2 余弦相似度                     232

A.1.3 互信息                       232

A.1.4 相关系数                      232

A.1.5 KL 散度与JS 距离                 233

A.1.6 最大均值差异MMD                  233

A.1.7 Principal Angle                    234

A.1.8 A-distance                      234

A.1.9 希尔伯特–施密特独立性系数             234

A.1.10 Wasserstein Distance                 234

A.2 迁移学习常用数据集                   235

A.2.1 手写体识别图像数据集                235

A.2.2 对象识别数据集                   236

A.2.3 图像分类数据集                   237

A.2.4 通用文本分类数据集                 237

A.2.5 行为识别公开数据集                 238

A.3 本书相关资源                       238

参考文献                                 241