自动机器学习（AutoML）：方法、系统与挑战

图书标准信息

• 作者 [德]弗兰克·亨特（Frank Hutter） 著
• 出版社 清华大学出版社
• 出版时间 2020-10
• ISBN 9787302552550
• 定价 89.00元

【内容简介】

本书全面介绍自动机器学习，主要包含自动机器学习的方法、实际可用的自动机器学习系统及目前所面临的挑战。在自动机器学习方法中，本书涵盖超参优化、元学习、神经网络架构搜索三个部分，每一部分都包括详细的内容介绍、原理解读、具体运用方法和存在的问题等。此外，本书还具体介绍了现有的各种可用的AutoML系统，如Auto-sklearn、Auto-WEKA及Auto-Net等，并且本书最后一章详细介绍了具有代表性的AutoML挑战赛及挑战赛结果背后所蕴含的理念，有助于从业者设计出自己的AutoML系统。

 

本书英文版是国际上第一本介绍自动机器学习的英文书，内容全面且翔实，尤为重要的是涵盖了z新的AutoML领域进展和难点。本书作者和译者学术背景扎实，保证了本书的内容质量。

 

对于初步研究者，本书可以作为其研究自动机器学习方法的背景知识和起点；对于工业界从业人员，本书全面介绍了AutoML系统及其实际应用要点；对于已经从事自动机器学习的研究者，本书可以提供一个AutoMLz新研究成果和进展的概览。总体来说，本书受众较为广泛，既可以作为入门书，也可以作为专业人士的参考书。

 

【作者简介】

弗兰克?亨特，德国弗莱堡大学教授，机器学习实验室负责人。主要研究统计机器学习、知识表示、自动机器学习及其应用，获得第一届（2015/2016）、第二届（2018/2019）自动机器学习比赛的世界冠军。

 

拉斯?特霍夫，美国怀俄明大学助理教授。主要研究深度学习、自动机器学习，致力于构建领先且健壮的机器学习系统，领导Auto-WEKA项目的开发和维护。

 

华昆?万赫仁，荷兰埃因霍温理工大学助理教授。主要研究机器学习的逐步自动化，创建了共享数据开源平台OpenML.org，并获得微软Azure研究奖和亚马逊研究奖。

 

 

译者简介

 

何明，中国科学技术大学博士，目前为上海交通大学电子科学与技术方向博士后研究人员、好未来教育集团数据中台人工智能算法研究员。

 

刘淇，中国科学技术大学计算机学院特任教授，博士生导师，中国计算机学会大数据专家委员会委员，中国人工智能学会机器学习专业委员会委员。

 

【目录】

目 录

 

 

自动机器学习方法

 

 

第1章 超参优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・2

 

 

1.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・2

 

 

1.2 问题定义 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・4

 

 

1.2.1 优化替代方案：集成与边缘化 ・・・・・・・・・・・・・5

 

 

1.2.2 多目标优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・5

 

 

1.3 黑盒超参优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・6

 

 

1.3.1 免模型的黑盒优化方法 ・・・・・・・・・・・・・・・・・・・・・・・・6

 

 

1.3.2 贝叶斯优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・8

 

 

1.4 多保真度优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・13

 

 

1.4.1 基于学习曲线预测的早停法 ・・・・・・・・・・・・・・14

 

 

1.4.2 基于Bandit的选择方法 ・・・・・・・・・・・・・・・・・・・・・15

 

 

1.4.3 保真度的适应性选择 ・・・・・・・・・・・・・・・・・・・・・・・・・・17

 

 

1.5 AutoML的相关应用 ・・・・・・・・・・・・・・・・・・・・18

 

 

1.6 探讨与展望 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・20

 

 

1.6.1 基准测试和基线模型 ・・・・・・・・・・・・・・・・・・・・・・・・・・21

 

 

1.6.2 基于梯度的优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・22

 

 

1.6.3 可扩展性 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・22

 

 

1.6.4 过拟合和泛化性 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・23

 

 

1.6.5 任意尺度的管道构建 ・・・・・・・・・・・・・・・・・・・・・・・・・・24

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・25

 

 

第2章 元学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・36

 

 

2.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・36

 

 

2.2 模型评估中学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・37

 

 

2.2.1 独立于任务的推荐 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・38

 

 

2.2.2 配置空间的设计 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・39

 

 

2.2.3 配置迁移 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・39

 

 

2.2.4 学习曲线 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・42

 

 

2.3 任务特性中学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・43

 

 

2.3.1 元特征 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・43

 

 

2.3.2 元特征的学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・44

 

 

2.3.3 基于相似任务热启动优化过程 ・・・・・・・・・・・46

 

 

2.3.4 元模型 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・48

 

 

2.3.5 管道合成 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・49

 

 

2.3.6 调优与否 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・50

 

 

2.4 先前模型中学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・50

 

 

第一篇

 

 

 

 

 

XVI

 

 

2.4.1 迁移学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・51

 

 

2.4.2 针对神经网络的元学习 ・・・・・・・・・・・・・・・・・・・・・・51

 

 

2.4.3 小样本学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・52

 

 

2.4.4 不止于监督学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・54

 

 

2.5 总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・55

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・56

 

 

第3章 神经网络架构搜索 ・・・・・・・・・・・・・・・・・・68

 

 

3.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・68

 

 

3.2 搜索空间 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・69

 

 

3.3 搜索策略 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・73

 

 

3.4 性能评估策略 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・76

 

 

3.5 未来方向 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・78

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・80

 

 

自动机器学习系统

 

 

第4章 Auto-WEKA ・・・・・・・・・・・・・・・・・・・・・・・・・・・86

 

 

4.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・86

 

 

4.2 准备工作 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・88

 

 

4.2.1 模型选择 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・88

 

 

4.2.2 超参优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・88

 

 

4.3 算法选择与超参优化结合

 

（CASH） ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・89

 

 

4.4 Auto-WEKA ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・91

 

 

4.5 实验评估 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・93

 

 

4.5.1 对比方法 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・94

 

 

4.5.2 交叉验证性能 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・96

 

 

4.5.3 测试性能 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・96

 

 

4.6 总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・98

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・98

 

 

第5章 Hyperopt-sklearn ・・・・・・・・・・・・・・・・・101

 

 

5.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・101

 

 

5.2 Hyperopt背景 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・102

 

 

5.3 Scikit-Learn模型选择 ・・・・・・・・・・・・・・・103

 

 

5.4 使用示例 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・105

 

 

5.5 实验 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・109

 

 

5.6 讨论与展望 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・111

 

 

5.7 总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・114

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・114

 

 

第6章 Auto-sklearn ・・・・・・・・・・・・・・・・・・・・・・・・116

 

 

6.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・116

 

 

6.2 CASH问题 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・118

 

 

6.3 改进 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・119

 

 

6.3.1 元学习步骤 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・119

 

 

6.3.2 集成的自动构建 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・121

 

 

6.4 Auto-sklearn系统 ・・・・・・・・・・・・・・・・・・・・・・121

 

 

6.5 Auto-sklearn的对比试验 ・・・・・・・・・・・125

 

 

6.6 Auto-sklearn改进项的评估 ・・・・・・・127

 

 

6.7 Auto-sklearn组件的详细分析 ・・・129

 

 

6.8 讨论与总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・134

 

 

6.8.1 讨论 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・134

 

 

第二篇

 

 

 

 

 

XVII

 

 

6.8.2 使用示例 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・134

 

 

6.8.3 Auto-sklearn的扩展 ・・・・・・・・・・・・・・・・・・・・・・・・・・135

 

 

6.8.4 总结与展望 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・136

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・136

 

 

第7章 Auto-Net ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・140

 

 

7.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・140

 

 

7.2 Auto-Net 1.0 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・142

 

 

7.3 Auto-Net 2.0 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・144

 

 

7.4 实验 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・151

 

 

7.4.1 基线评估 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・151

 

 

7.4.2 AutoML竞赛上的表现 ・・・・・・・・・・・・・・・・・・・・・152

 

 

7.4.3 Auto-Net 1.0与Auto-Net 2.0的对比・・・・154

 

 

7.5 总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・155

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・156

 

 

第8章 TPOT ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・160

 

 

8.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・160

 

 

8.2 方法 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・161

 

 

8.2.1 机器学习管道算子 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・161

 

 

8.2.2 构建基于树的管道 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・162

 

 

8.2.3 优化基于树的管道 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・163

 

 

8.2.4 基准测试数据 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・163

 

 

8.3 实验结果 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・164

 

 

8.4 总结与展望 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・167

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・168

 

 

第9章 自动统计 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・170

 

 

9.1 引言 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・170

 

 

9.2 自动统计项目的基本结构 ・・・・・・・・・172

 

 

9.3 应用于时序数据的自动统计 ・・・・・173

 

 

9.3.1 核函数上的语法 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・173

 

 

9.3.2 搜索和评估过程 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・175

 

 

9.3.3 生成自然语言性的描述 ・・・・・・・・・・・・・・・・・・・・175

 

 

9.3.4 与人类比较 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・177

 

 

9.4 其他自动统计系统 ・・・・・・・・・・・・・・・・・・・・178

 

 

9.4.1 核心组件 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・178

 

 

9.4.2 设计挑战 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・179

 

 

9.5 总结 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・180

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・180

 

 

自动机器学习挑战赛

 

 

第10章 自动机器学习挑战赛分析 ・・・186

 

 

10.1 引言・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・187

 

 

10.2 问题形式化和概述 ・・・・・・・・・・・・・・・・・・・190

 

 

10.2.1 问题的范围 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・190

 

 

10.2.2 全模型选择 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・191

 

 

10.2.3 超参优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・192

 

 

10.2.4 模型搜索策略 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・193

 

 

10.3 数据・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・197

 

 

10.4 挑战赛协议 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・201

 

 

10.4.1 时间预算和计算资源 ・・・・・・・・・・・・・・・・・・・・・・201

 

 

10.4.2 评分标准 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・202

 

 

10.4.3 挑战赛2015/2016中的轮次和阶段 ・・・・205

 

 

第三篇

 

 

 

 

 

10.4.4 挑战赛2018中的阶段 ・・・・・・・・・・・・・・・・・・・・206

 

 

10.5 结果・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・207

 

 

10.5.1 挑战赛2015/2016上的得分 ・・・・・・・・・・・207

 

 

10.5.2 挑战赛2018上的得分 ・・・・・・・・・・・・・・・・・・・・209

 

 

10.5.3 数据集/任务的难度 ・・・・・・・・・・・・・・・・・・・・・・・210

 

 

10.5.4 超参优化 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・217

 

 

10.5.5 元学习 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・217

 

 

10.5.6 挑战赛中使用的方法 ・・・・・・・・・・・・・・・・・・・・・・219

 

 

10.6 讨论・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・224

 

 

10.7 总结・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・226

 

 

参考文献・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・229