Python机器学习手册：从数据预处理到深度学习

序
在过去几年中，机器学习已经渗透到企业、非营利组织和政府的日常运作中。随着机器学习热度的增长，在对机器学习从业者的指导方面上，涌现了一批高质量的文献。这类文献培养了整整一代的数据科学家和机器学习工程师。这类文献从提供学习资源的角度来探讨机器学习，为人们讲解机器学习是什么以及它的工作原理。尽管这种方法富有成效，但却遗漏了一部分内容：机器学习日常开发中的细节。这就是笔者写本书的动机——本书不是写给学生读者的学习机器学习理论的大部头，而是写给专业人士的“扳手型”工具书。我希望你把它放在书桌上，把你感兴趣的某些页折起来，在日常开发中需要解决实际问题时就拿过来翻一翻。
更具体地说，本书采用基于任务的方式来介绍机器学习，有近200个独立的解决方案（你可以复制并粘贴这些代码，而它们将正常运行），针对的都是数据科学家或机器学习工程师在构建模型时可能遇到的常见的任务。
本书的终目标是成为人们在构建真实的机器学习系统时的参考书。例如，假设你有一个JSON文件，其中包含1000个具有缺失值的分类特征和数值型特征，并且目标向量的分类不均衡，你想得到一个可解释的模型。本书提供的解决方案可以帮助你解决如下问题：
?    加载JSON文件（2.5  节）
?    特征的标准化（4.2 节）
?    对特征字典编码（5.3节）
?    填充缺失的分类值（5.4节）
?    使用主成分进行特征降维（9.1节）
?    使用随机搜索选择模型（12.2节）
?    训练随机森林分类器（14.4节）
?    选择随机森林中的重要特征（14.7节）
目标是让你：
 1. 复制/粘贴代码，并确信它能很好地运行在玩具数据集（toy dataset） 上。 
2.  阅读每一节后面的讨论以增进对代码背后的理论的理解，并了解哪些参数是需要重点考虑的因素。
 3. 对书中的代码进行各种组合与修改，以构建实际的应用。
哪些人适合阅读本书
本书不是机器学习的入门书。如果你对机器学习的基本概念还不太了解，或者从未花时间学习过机器学习，请不要购买本书。本书适合机器学习的实践者阅读，他们熟悉机器学习的理论和概念，可以参考书中的代码快速解决在日常开发中遇到的挑战。
另外，本书假定读者熟悉Python编程语言和包管理。
哪些人不适合阅读本书
如前所述，本书不是机器学习的入门书。因此，它不应该是你的本机器学习书。如果你还不熟悉交叉验证、随机森林和梯度下降等概念，那么相比那些专门介绍这些主题的书来说，本书可能不会为你带来收获。建议你先阅读一本入门类机器学习图书，再阅读本书来学习机器学习的实用解决方案。
书中用到的术语
机器学习利用了很多领域的技术，包括计算机科学、统计学和数学。因此，在关于机器学习的讨论中会使用各种各样的术语：
观察值 （observation）
我们观察到的单个单位——例如一个人、一次销售或一条记录。
学习算法（learning algorithm）
用来学习模型的参数的算法——例如线性回归、朴素贝叶斯或决策树。 
模型（model） 
学习算法的输出。学习算法训练出的模型可以用来做预测。 
参数（parameter）
一个模型在训练过程中学习到的权重或系数。 
超参数（hyperparameter）
一个学习算法在训练前需要设置的一组参数。 
性能（performance）
用来评估模型的指标。 
损失（loss）
 一个需要在训练中小化或化的指标。 
训练（train） 
使用类似于梯度下降之类的数学方法将一个学习算法应用到数据上。
拟合（fit）
使用分析方法将一个机器学习算法应用到数据上。 
数据（data） 
一组观察值。
致谢
没有一些朋友和陌生人的帮助，这本书是不可能完成的。很难列出提供过帮助的所有人的名字，但我想至少提一下这些人：Angela Bassa、Teresa Borcuch、Justin Bozonier、Andre deBruin、Numa Dhamani、Dan Friedman、Joel Grus、Sarah Guido、Bill Kam-bouroglou、Mat Kelcey、Lizzie Kumar、Hilary Parker、Niti Paudyal、Sebastian Raschka和Shreya Shankar。
我欠他们所有人一瓶啤酒，或者五瓶。

这是一本关于Python的图书，采用基于任务的方式来介绍如何在机器学习中使用Python。书中有近200个独立的解决方案（并提供了相关代码，读者可以复制并粘贴这些代码，用在自己的程序中），针对的都是数据科学家或机器学习工程师在构建模型时可能遇到的*常见任务，涵盖*简单的矩阵和向量运算到特征工程以及神经网络的构建。本书不是机器学习的入门书，适合熟悉机器学习的理论和概念的读者摆在案头作为参考，他们可以借鉴书中的代码，快速解决在机器学习的日常开发中遇到的挑战。

Chris Albon是一位有十年经验的数据科学家和政治学家，他将统计学习、人工智能和软件工程应用到政治和社会活动以及人道主义活动中，譬如监查选举情况、灾难救助等。目前，Chris是肯尼亚创业公司BRCK的首席数据科学家。这家公司致力于为前沿市场的互联网用户构建一个稳健的网络。
韩慧昌，毕业于北京科技大学，ThoughtWorks高级咨询师，有多个大型企业AI项目经验。林然，有6年多的开发经验、4年多Python开发经验，在航空、零售、物流、汽车、通讯等多个行业应用过机器学习算法。徐江，毕业于瑞典皇家理工学院的系统生物学专业，曾就职于Thoughtworks软件技术有限公司。

第1章 向量、矩阵和数组 
1.0 简介 
1.1 创建一个向量 
问题描述 
解决方案 
讨论 
延伸阅读 
1.2 创建一个矩阵 
问题描述 
解决方案 
讨论 
延伸阅读 
1.3 创建一个稀疏矩阵 
问题描述 
解决方案 
讨论 
延伸阅读 
1.4 选择元素 
问题描述 
解决方案 
讨论 
1.5 展示一个矩阵的属性 
问题描述 
解决方案 
讨论 
1.6 对多个元素同时应用某个操作 
问题描述 
解决方案 
讨论 
1.7 找到值和小值 
问题描述 
解决方案 
讨论 
1.8 计算平均值、方差和标准差 
问题描述 
解决方案 
讨论 
1.9 矩阵变形 
问题描述 
解决方案 
讨论 
1.10 转置向量或矩阵 
问题描述 
解决方案 
讨论 
1.11 展开一个矩阵 
问题描述 
解决方案 
讨论 
1.12 计算矩阵的秩 
问题描述 
解决方案 
讨论 
延伸阅读 
1.13 计算行列式 
问题描述 
解决方案 
讨论 
延伸阅读 
1.14 获取矩阵的对角线元素 
问题描述 
解决方案 
讨论 
1.15 计算矩阵的迹 
延伸阅读 
1.16 计算特征值和特征向量 
问题描述 
解决方案 
讨论 
延伸阅读 
1.17 计算点积 
问题描述 
解决方案 
讨论 
延伸阅读 
1.18 矩阵的加/减 
问题描述 
解决方案 
讨论 
1.19 矩阵的乘法 
问题描述 
解决方案 
讨论 
延伸阅读 
1.20 计算矩阵的逆 
问题描述 
解决方案 
讨论 
1.21 生成随机数 
问题描述 
解决方案 
讨论 
第2章 加载数据 
2.0 简介 
2.1 加载样本数据集 
问题描述 
解决方案 
讨论 
延伸阅读 
2.2 创建仿真数据集 
问题描述 
解决方案 
讨论 
延伸阅读 
2.3 加载CSV文件 
问题描述 
解决方案 
讨论 
2.4 加载一个Excel文件 
问题描述 
解决方案 
讨论 
2.5 加载JSON文件 
问题描述 
解决方案 
讨论 
延伸阅读 
2.6 查询SQL数据库 
问题描述 
解决方案 
讨论 
延伸阅读 
第3章 数据整理 
3.0 简介 
3.1 创建一个数据帧 
问题描述 
解决方案 
讨论 
3.2描述数据 
问题描述 
解决方案 
讨论 
3.3 浏览数据帧 
问题描述 
解决方案 
讨论 
3.4 根据条件语句来选择行 
问题描述 
解决方案 
讨论 
3.5 替换值 
问题描述 
解决方案 
讨论 
3.6 重命名列 
问题描述 
解决方案 
讨论 
3.7 计算小值、值、总和、平均值与计数值 
问题描述 
解决方案 
讨论 
3.8 查找值 
问题描述 
解决方案 
讨论 
3.9 处理缺失值 
问题描述 
解决方案 
讨论 
3.10 删除一列 
问题描述 
解决方案 
讨论 
3.11 删除一行 
问题描述 
解决方案 
讨论 
3.12 删除重复行 
问题描述 
解决方案 
讨论 
3.13 根据值对行进行分组 
问题描述 
解决方案 
讨论 
3.14 按时间段对行进行分组 
问题描述 
解决方案 
讨论 
延伸阅读 
3.15 遍历一个列的数据 
问题描述 
解决方案 
讨论 
3.16 对一列的所有元素应用某个函数 
问题描述 
讨论 
3.17 对所有分组应用一个函数 
问题描述 
解决方案 
讨论 
3.18 连接多个数据帧 
问题描述 
解决方案 
讨论 
3.19 合并两个数据帧 
问题描述 
解决方案 
讨论 
延伸阅读 
第4章 处理数值型数据 
4.0 简介 
4.1 特征的缩放 
问题描述 
解决方案 
讨论 
延伸阅读 
4.2 特征的标准化 
问题描述 
解决方案 
讨论 
4.3 归一化观察值 
问题描述 
解决方案 
讨论 
4.4 生成多项式和交互特征 
问题描述 
解决方案 
讨论 
4.5 转换特征 
问题描述 
解决方案 
讨论 
4.6 识别异常值 
问题描述 
解决方案 
讨论 
延伸阅读 
4.7 处理异常值 
问题描述 
解决方案 
讨论 
延伸阅读 
4.8 将特征离散化 
问题描述 
解决方案 
讨论 
延伸阅读 
4.9 使用聚类的方式将观察值分组 
问题描述 
解决方案 
讨论 
4.10 删除带有缺失值的观察值 
问题描述 
解决方案 
讨论 
延伸阅读 
4.11 填充缺失值 
问题描述 
解决方案 
讨论 
延伸阅读 
第5章 处理分类数据 
5.0 简介 
5.1 对nominal型分类特征编码 
问题描述 
解决方案 
讨论 
延伸阅读 
5.2 对ordinal分类特征编码 
问题描述 
解决方案 
讨论 
5.3 对特征字典编码 
问题描述 
解决方案 
讨论 
延伸阅读 
5.4 填充缺失的分类值 
问题描述 
解决方案 
讨论 
延伸阅读 
5.5 处理不均衡分类 
问题描述 
解决方案 
讨论 
第6章 处理文本 
6.0 简介 
6.1 清洗文本 
问题描述 
解决方案 
讨论 
延伸阅读 
6.2 解析并清洗HTML 
问题描述 
解决方案 
讨论 
延伸阅读 
6.3 移除标点 
问题描述 
解决方案 
讨论 
6.4 文本分词 
问题描述 
解决方案 
讨论 
6.5 删除停止词（stop word） 
问题描述 
解决方案 
讨论 
6.6 提取词干 
问题描述 
解决方案 
讨论 
延伸阅读 
6.7 标注词性 
问题描述 
解决方案 
讨论 
延伸阅读 
6.8 将文本编码成词袋（Bag of Words） 
问题描述 
解决方案 
讨论 
延伸阅读 
6.9 按单词的重要性加权 
问题描述 
解决方案 
讨论 
延伸阅读 
第7章 处理日期和时间 
7.0 简介 
7.1 把字符串转换成日期 
问题描述 
解决方案 
讨论 
延伸阅读 
7.2 处理时区 
问题描述 
解决方案 
讨论 
7.3 选择日期和时间 
问题描述 
解决方案 
讨论 
7.4 将日期数据切分成多个特征 
问题描述 
解决方案 
讨论 
7.5 计算两个日期之间的时间差 
问题描述 
解决方案 
讨论 
延伸阅读 
7.6 对一周内的各天进行编码 
问题描述 
解决方案 
讨论 
延伸阅读 
7.7 创建一个滞后的特征 
问题描述 
解决方案 
讨论 
7.8 使用滚动时间窗口 
问题描述 
解决方案 
讨论 
延伸阅读 
7.9 处理时间序列中的缺失值 
问题描述 
解决方案 
讨论 
第8章 图像处理 
8.0 简介 
8.1 加载图像 
问题描述 
解决方案 
讨论 
延伸阅读 
8.2保存图像 
问题描述 
解决方案 
讨论 
8.3缩放图像 
问题描述 
解决方案 
讨论 
8.4裁剪图像 
问题描述 
解决方案 
讨论 
延伸阅读 
8.5 图像平滑 
问题描述 
解决方案 
讨论 
延伸阅读 
8.6 图像锐化 
问题描述 
解决方案 
讨论 
8.7 提升对比度 
问题描述 
解决方案 
讨论 
8.8 颜色分离 
问题描述 
解决方案 
讨论 
8.9 图像二值化 
问题描述 
解决方案 
讨论 
8.10 移除背景 
问题描述 
解决方案 
讨论 
8.11 边缘检测 
问题描述 
解决方案 
讨论 
8.12 角点检测 
问题描述 
解决方案 
讨论 
延伸阅读 
8.13 为机器学习创建特征 
问题描述 
解决方案 
讨论 
8.14 将颜色平均值编码成特征 
问题描述 
解决方案 
讨论 
8.15 将色彩直方图编码成特征 
问题描述 
解决方案 
讨论 
延伸阅读 
第9章 利用特征提取进行特征降维 
9.0 简介 
9.1 使用主成分进行特征降维 
问题描述 
解决方案 
讨论 
延伸阅读 
9.2 对线性不可分数据进行特征降维 
问题描述 
解决方案 
讨论 
延伸阅读 
9.3 通过化类间可分性进行特征降维 
问题描述 
解决方案 
讨论 
延伸阅读 
9.4 使用矩阵分解法进行特征降维 
问题描述 
解决方案 
讨论 
延伸阅读 
9.5 对稀疏数据进行特征降维 
问题描述 
解决方案 
讨论 
延伸阅读 
第10章 使用特征选择进行降维 
10.0 简介 
10.1 数值型特征方差的阈值化 
问题描述 
解决方案 
讨论 
10.2 二值特征的方差阈值化 
问题描述 
解决方案 
讨论 
10.3 处理高度相关性的特征 
问题描述 
解决方案 
讨论 
10.4 删除与分类任务不相关的特征 
问题描述 
解决方案 
讨论 
10.5 递归式特征消除 
问题描述 
解决方案 
讨论 
延伸阅读 
第11章 模型评估 
11.0 简介 
11.1 交叉验证模型 
问题描述 
解决方案 
讨论 
延伸阅读 
11.2 创建一个基准回归模型 
问题描述 
解决方案 
讨论 
11.3 创建一个基准分类模型 
问题描述 
解决方案 
讨论 
延伸阅读 
11.4 评估二元分类器 
问题描述 
解决方案 
讨论 
延伸阅读 
11.5 评估二元分类

这是一本关于Python的图书，采用基于任务的方式来介绍如何在机器学习中使用Python。书中有近200个独立的解决方案（并提供了相关代码，读者可以复制并粘贴这些代码，用在自己的程序中），针对的都是数据科学家或机器学习工程师在构建模型时可能遇到的*常见任务，涵盖*简单的矩阵和向量运算到特征工程以及神经网络的构建。本书不是机器学习的入门书，适合熟悉机器学习的理论和概念的读者摆在案头作为参考，他们可以借鉴书中的代码，快速解决在机器学习的日常开发中遇到的挑战。

Chris Albon是一位有十年经验的数据科学家和政治学家，他将统计学习、人工智能和软件工程应用到政治和社会活动以及人道主义活动中，譬如监查选举情况、灾难救助等。目前，Chris是肯尼亚创业公司BRCK的首席数据科学家。这家公司致力于为前沿市场的互联网用户构建一个稳健的网络。
韩慧昌，毕业于北京科技大学，ThoughtWorks高级咨询师，有多个大型企业AI项目经验。林然，有6年多的开发经验、4年多Python开发经验，在航空、零售、物流、汽车、通讯等多个行业应用过机器学习算法。徐江，毕业于瑞典皇家理工学院的系统生物学专业，曾就职于Thoughtworks软件技术有限公司。

“O’Reilly Radar 博客有口皆碑。”
——Wired

“O’Reilly 凭借一系列（真希望当初我也想到了）非凡想法建立了数百万美元的业
务。”
——Business 2.0

“O’Reilly Conference 是聚集关键思想领袖的*典范。”
——