特征工程的艺术:通用技巧与实用案例

巴勃罗·迪布（Pablo Duboue） NLP学者。2005年博士毕业于美国哥伦比亚大学，师从ACL前主席Kathleen McKeown教授，曾是IBM Watson DeepQA团队成员。2016年创办NLP技术公司Textualization。他有丰富的教学经验，是世界多所大学的访问教授。

第一部分 基础知识

第1章 简介

 1.1 特征工程

 1.2 模型评价

 1.2.1 度量

 1.2.2 交叉验证

 1.2.3 过拟合

 1.2.4 维数灾难

 1.3 周期

 1.3.1 ML周期

 1.3.2 特征工程周期

 1.4 分析

 1.4.1 探索性数据分析

 1.4.2 误差分析

 1.5 其他过程

 1.5.1 领域建模

 1.5.2 特征构建

 1.6 讨论

 1.7 扩展学习

第2章 特征组合：归一化、离散化和异常值

 2.1 归一化特征

 2.1.1 标准化和去相关性

 2.1.2 平滑

 2.1.3 特征加权

 2.2 离散化和分箱

 2.2.1 无监督离散化

 2.2.2 监督离散化

 2.3 描述性特征

 2.3.1 直方图

 2.3.2 其他描述性特征

 2.4 处理异常值

 2.5 不错技术

 2.6 扩展学习

第3章 特征扩展：可计算特征、填充与核技巧

 3.1 可计算特征

 3.2 填充

 3.3 复杂特征分解

 3.4 核操作特征扩展

 3.5 扩展学习

第4章 特征缩减：特征选择、降维和嵌入

 4.1 特征选择

 4.1.1 度量

 4.1.2 组成特征集：搜索与筛选

 4.1.3 不错技术

 4.2 正则化与嵌入式特征选择

 4.2.1 L2 正则化：岭回归

 4.2.2 L1 正则化：LASSO

 4.2.3 其他使用嵌入式特征选择的算法

 4.3 数据降维

 4.3.1 特征哈希

 4.3.2 随机投影

 4.3.3 奇异值分解

 4.3.4 隐狄利克雷分配

 4.3.5 聚类

 4.3.6 其他数据降维技术

 4.3.7 嵌入

 4.4 扩展学习

第5章 不错主题：可变长度数据与自动特征工程

 5.1 可变长度特征向量

 5.1.1 集合

 5.1.2 列表

 5.1.3 树

 5.1.4 图

 5.1.5 时间序列

 5.2 基于实例的特征工程

 5.3 深度学习与特征工程

 5.4 自动特征工程

 5.4.1 特征学习

 5.4.2 无监督特征工程

 5.5 扩展学习

第二部分 案例研究

第6章 图数据

 6.0 本章概述

 6.1 WikiCities数据集

 6.2 探索性数据分析

 6.3 第 一个特征集

 6.4 第二个特征集

 6.5 最终的特征集

 6.6 扩展学习

第7章 时间戳数据

 7.0 本章概述

 7.1 WikiCities：历史特征

 7.2 时间延迟特

为改善机器学习模型的表现，你会花多少时间修改输入数据的特征？图灵奖得主Yoshua Bengio曾说：“好的输入特征是机器学习取得成功的基本条件。在产业化机器学习中，特征工程所占的工作量接近90%。”修改数据特征以更好地捕获问题的本质，这是机器学习的重中之重。 没有高深的领域知识能否进行高质量的特征工程？本书直面这一充满争议的话题，在不考虑领域知识的情况下，给出了特征工程的一些通用技巧。此外，本书还展示了丰富的案例，涵盖图数据、时间戳数据、文本数据和图像数据。你将在学习各种技巧和诀窍的过程中，逐渐领会特征工程的艺术。

特征工程可以修改数据特征，更好地捕获问题本质，从而改进结果。这个过程既是一种艺术，也是技巧和诀窍的一种结合。本书是一本特征工程实用指南，主要探讨如何利用特征工程提升机器学习解决方案的性能。本书从特征工程的基本概念和技术开始介绍，建立了一种独特的跨领域方法，通过充分研究案例详细介绍了图数据、时间戳数据、文本数据和图像数据的处理方法，包括分箱、折外估计、特征选择、数据降维和可变长度数据编码等重要主题。

业内佳评 巴勃罗·迪布是当之无愧的特征工程艺术大师。这本书涵盖特征工程领域的大量话题，适合不同水平的机器学习从业人员研读。 --J. William Murdock，IBM 这本书清晰阐释了复杂的概念，并从实际角度展示了这些概念如何应用于广泛的真实案例。 --Gavin Brown，英国曼彻斯特大学 这本书提供了一套特征工程技巧，并用精彩的案例说明了它们的适用性，适合高年级本科生和研究生在学习文本挖掘或多模态数据分析的课程之余参考。从事数据挖掘和文本分析工作的新手也会从中受益。 --Wlodek Zadrozny，美国北卡罗来纳大学