数据分析通识

内 容 提 要
本书务实的数据分析科学技术、精彩的实际业务案例，很好地满足了从业者的实际需求；本书是作者结合近几年的工作经验，将在实际业务场景中的案例进行脱敏抽象，置于本书的每章之中，从而形成的一本把数据分析科学技术应用于实际业务的数据分析类图书。主要内容包括数据处理的抽象流程、数据系统的有机组成、数据获取、探索性数据分析、目的性数据分析、数据可视化、特征工程、模型、结果评价、数据应用等。
本书介绍了数据分析科学的许多方面，不但适合业务分析人员和数据分析与建模从业者学习，还可作为大专院校相关专业师生的学习用书，以及相关培训学校的教材。

途索，就职于大型互联网公司，数据分析专家，从事多年数据科学相关的工作。在消费级领域（C端）与企业级领域（B端）从事过数十个大数据与算法方面的工程与项目，曾多次得到公司的嘉奖和业内的肯定。

作者目前任职于国内大型互联网公司，具有丰富的数据获取、处理和分析经验，他将自己的经验总结成书，所以，这是一本非常适合读者了解大数据、掌握数据分析的图书。书中有大量的实例佐证数据分析和数据建模的理论和方法，理论联系实际，而非空谈，对职场数据相关从业者很有帮助，强烈推荐大家学习。
阿里巴巴前资深算法专家 李瑞方

数据分析的本质是从业务出发解决实际的业务问题，本书从数据开始，到数据的

目 录

第0章 技术与业务 1
0.1 一个场景 1
0.2 什么是业务 2
0.3 技术与业务的分工 3
0.4 数据分析工作者的定位 4
第 1章 数据处理的抽象流程与数据系统的
有机组成 6
1.1 数据与大数据 6
1.2 数据驱动的系统 7
1.3 数据处理的一般环节 8
1.4 数据的服务对象 9
1.5 与数据业务相关的技术分工 11
第 2章 数据获取 15
2.1 获取数据需要的成本 15
2.2 获取数据的主要方式 15
2.2.1 设备采集 15
2.2.2 业务记录与调查 16
2.2.3 日志与埋点 16
2.2.4 爬虫抓取 17
2.2.5 合作、服务与购买 18
2.2.6 数据仓库 19
2.3 采样数据的陷阱 20
2.4 本章涉及的技术实现方案 22
2.4.1 爬虫抓取（Python版） 22
2.4.2 前端埋点SDK 23
2.4.3 日志采集 23
2.4.4 数据仓库 23
第3章 探索性数据分析与目的性数据
分析 24
3.1 探索性数据分析 24
3.2 一份数据集 24
3.3 数据字段分类 25
3.4 遍历每个字段 26
3.4.1 了解离散属性 27
3.4.2 了解连续属性 28
3.4.3 分布与分箱 32
3.4.4 异常值与数据清洗 36
3.5 数据分析的本质 37
3.5.1 寻找用来比较的实体 39
3.5.2 拿什么进行比较 42
3.5.3 怎样进行比较 42
3.6 目的性数据分析 89
3.6.1 目的性数据分析的一般方法 90
3.6.2 目的性数据分析的意义 92
3.7 本章涉及的技术实现方案 93
3.7.1 数据分析软件 93
3.7.2 SQL 96
3.7.3 Python 97
3.7.4 大数据分析解决方案 98
第4章 展示信息的推荐方式——
可视化 100
4.1 数据可视化 100
4.2 常见的图表类型与应用场景 101
4.2.1 趋势型 101
4.2.2 比较型 104
4.2.3 比例型 106
4.2.4 分布型 107
4.2.5 区间型 109
4.2.6 关联型 109
4.2.7 地理型 112
4.3 数据可视化与数据分析 112
4.3.1 数据可视化与假设检验、
分布拟合 112
4.3.2 数据可视化与多维分析、钻取
分析、交叉分析 115
4.3.3 数据可视化与秩次分析 117
4.3.4 数据可视化与相关分析、
回归分析 119
4.3.5 数据可视化与分组归类 121
4.3.6 数据可视化与目的性数据
分析 122
4.4 可视化数据交互 122
4.4.1 交互式可视化的流程 124
4.4.2 常见的数据可视化交互
组件 124
4.5 可视化设计 125
4.5.1 可视化设计的美学原则 125
4.5.2 可视化设计的高效原则 126
4.5.3 可视化交互的一些准则 129
4.6 可视化工程 129
4.6.1 确定主题 130
4.6.2 提炼数据 130
4.6.3 选择合适的图表 131
4.6.4 可视化设计 131
4.7 本章涉及的技术实现方案 131
4.7.1 Python 131
4.7.2 开源可视化API 132
4.7.3 商业化 132
第5章 特征工程 133
5.1 变量、字段、属性、维度和特征 133
5.2 特征工程的内涵 135
5.3 特征获取 136
5.3.1 获取用于提取特征的数据 136
5.3.2 特征的可用性评估 137
5.3.3 从特征获取的角度清洗数据 137
5.4 特征处理与提取 138
5.4.1 数据清洗 138
5.4.2 特征选择 138
5.4.3 特征变换 143
5.4.4 特征抽取 153
5.4.5 特征衍生 156
5.5 特征监控 161
5.5.1 监控已有特征 161
5.5.2 寻找新的特征 162
5.6 一个例子 163
5.6.1 有哪些数据 163
5.6.2 提取业务特征 164
5.6.3 特征处理 165
5.6.4 二次特征衍生 165
5.6.5 二次特征处理 165
5.6.6 建模与迭代 165
5.7 头脑风暴 166
5.8 本章涉及的技术实现方案 167
5.8.1 Python 167
5.8.2 大数据平台的特征工程模块 168
5.8.3 组件化的特征工程 168
第6章 模型 169
6.1 模型的概念 169
6.2 业务模型、数据模型、函数模型 170
6.2.1 业务模型 170
6.2.2 数据模型 171
6.2.3 函数模型 173
6.2.4 其他“模型”与上述3种模型的
关系 174
6.3 机器学习与统计建模的联系与
区别 175
6.4 函数模型与业务 176
6.4.1 数据、特征工程与函数
模型 177
6.4.2 监督学习、无监督学习、
半监督学习与归纳偏置 177
6.4.3 交叉验证与过拟合 182
6.5 常见的函数模型 185
6.5.1 数据的刻画方式 185
6.5.2 分类与回归 191
6.5.3 聚类 237
6.5.4 关联 245
6.5.5 半监督学习 249
6.6 调参 253
6.6.1 调参调的是超参数 253
6.6.2 经验调参 254
6.6.3 简单模型 254
6.7 什么样的模型是好模型 255
6.7.1 模型选择 255
6.7.2 可解释性 256
6.7.3 奥卡姆剃刀原理 257
6.8 迁移学习与强化学习 259
6.8.1 迁移学习 259
6.8.2 强化学习 261
6.9 本章涉及的技术实现方案 263
6.9.1 Python 263
6.9.2 大数据 264
第7章 结果评价 265
7.1 分类模型的结果评价 265
7.1.1 正样本与负样本 265
7.1.2 混淆矩阵及其衍生指标 266
7.1.3 ROC与AUC 268
7.1.4 提升图 271
7.1.5 KS曲线 271
7.1.6 过采样与欠采样 272
7.2 回归模型的结果评价 273
7.2.1 基于绝对数值的结果评价 273
7.2.2 基于比例数值的结果评价 274
7.2.3 决定系数与校正决定系数 274
7.3 聚类模型的结果评价 275
7.3.1 方差 275
7.3.2 轮廓系数 275
7.3.3 兰德系数 276
7.4 关联模型的结果评价 276
7.5 本章涉及的技术实现方案 276
第8章 数据应用与人工智能 278
8.1 业务数据化与数据业务化 278

8.2 数据应用的常见产出形式 279
8.2.1 指标 279
8.2.2 表格 280
8.2.3 可视化图表与交互 273
8.2.4 报告 280
8.2.5 模型 280
8.3 几种典型的数据应用系统 280
8.3.1 离线挖掘任务流 280
8.3.2 实时预测与挖掘任务 281
8.3.3 推荐系统 281
8.3.4 搜索引擎 282
8.3.5 Feed流 283
8.4 数据应用系统的优势与限制 283
第9章 未来的数据与数据的未来 285
9.1 数据融合与未来数据驱动系统的
展望 285
9.1.1 数据化是一切的起点 285
9.1.2 融合是数据发挥能量的
关键 286
9.1.3 计算还是太慢了 287
9.1.4 为什么要数据化、融合、
计算？ 287
9.2 人工智能 288
9.2.1 人与人工智能 288
9.2.2 智能是个系统 289
9.2.3 智能域 290
后记——拥抱不确定的美好 291
参考文献 295

1.来自阿里巴巴公司的一线数据分析工程师力作，人人看得懂用得上的数据分析书；
2.理论联系实际：书中大量的实例来自一线大厂，佐证数据分析和数据建模的理论和方法，对职场数据相关从业者很有帮助；
3.内容丰富：从数据开始，到数据的处理过程和可视化，到业务的数据分析、数据建模，再到数据与人工智能应用的结合等；
4.通俗易懂：通过大量的实例，把数据建模与数据分析讲解得通俗易懂，帮助大家快速成为数据分析实战高手。

主要内容包括：数据处理的抽象流程与数据系统的有机组成、数据获取、探索性数据分析与目的性数据分析、数据可视化、特征工程、模型（业务模型、数据模型、函数模型）、结果评价、数据应用等内容。