数据分析:方法与应用

刘宏志，教授，北京大学理学博士、教授。主要研究领域包括大数据、人工智能、金融科技等。参与和主持多项国家自然科学基金、重点研发计划、科技支撑计划、国际合作和企业合作项目。已在JMLR、ACMTACO、PR、AAAI、IJCAI、WWW等国际知名期刊和会议上发表学术论文60多篇，编著出版教材2部。

 吴中海，教授，北京大学教授、博士生导师。北京大学软件与微电子学院院长，教育部高等学校软件工程专业教学指导委员会副主任委员。主要研究方向包括大数据机器学习、软件与系统安全、区块链与隐私计算、工业物联网与智能等。承担国家自然科学基金熏点、国家熏点研发计划、国家863计划等10多项国家科技计划项目。发表学术论文160余篇，授权发明专利30多项。

第1章 绪论

1．1 数据分析简介

1．1．1 数据的定义与分类

1．1．2 数据分析技术与方法

1．2 数据分析流程

1．2．1 问题定义与数据收集

1．2．2 数据预处理

1．2．3 描述性分析

1．2．4 探索性分析

1．2．5 推断性分析

1．2．6 基于模型与算法的分析

1．2．7 数据分析报告与应用

1．3 应用案例

1．3．1 电商数据分析

1．3．2 交通数据分析

1．3．3 文化传媒数据分析

1．3．4 能源数据分析

1．3．5 金融数据分析

习题1

第2章 概率论基础

2．1 概率的基本概念与性质

2．1．1 随机事件与样本空间

2．1．2 概率测度及其性质

2．2 概率的计算

2．2．1 等可能概型

2．2．2 案例：辛普森悖论

2．2．3 乘法原理与排列组合

2．2．4 案例：生日悖论

2．2．5 事件独立性

2．2．6 案例：疾病感染率统计分析

2．3 条件概率

2．3．1 条件概率与全概率公式

2．3．2 贝叶斯公式

2．3．3 案例：测谎仪悖论

2．3．4 案例：三门问题

2．4 随机变量

2．4．1 随机变量的定义与分类

2．4．2 概率函数和累积分布函数

2．5 数学期望

2．5．1 期望的起源

2．5．2 期望的定义

2．5．3 案例：圣彼得堡悖论

2．5．4 马尔可夫不等式

2．5．5 联合分布函数的期望

2．6 方差与协方差

2．6．1 方差的定义与性质

2．6．2 切比雪夫不等式

2．6．3 案例：风险值的估算

2．6．4 协方差与相关系数

2．6．5 案例：投资组合风险分析

2．7 常用概率分布

2．7．1 离散型概率分布

2．7．2 连续型概率分布

习题2

第3章 描述性分析

3．1 集中趋势分析

3．1．1 算术平均数

3．1．2 中位数

3．1．3 四分位数

3．1．4 众数

3．1．5 算术平均数、中位数与众数的关系

3．2 离中趋势分析

3．2．1 极差

3．2．2 平均差

3．2．3 标准差

3．2．4 四分位差

3．2．5 异众比率

3．3 分布形状分析

3．3．1 偏度

3．3．2 峰度

习题3

第4章 探索性分析

4．1 分析目标与方法分类

4．2 单变量探索性分析

4．2．1 直方图

4．2．2 经验累积分布曲线与分位数图

4．2．3 箱形图

4．2．4 柱形图与饼形图

4．2．5 案例：白葡萄酒品质分析

4．2．6 时序图

4．2．7 案例：航空公司乘客数量趋势分析

4．3 双变量探索性分析

4．3．1 散点图

4．3．2 案例：车道探测器故障检测

4．3．3 案例：地震空间分布分析

4．3．4 晶格图与并排箱形图

4．3．5 并列柱形图和堆叠柱形图

4．4 多变量探索性分析

4．4．1 成对散点图

4．4．2 雷达图

4．4．3 平行坐标图

习题4

……

第5章 参数估计

第6章 假设检验

第7章 方差分析

第8章 相关分析与回归分析

第9章 机器学习

第10章 时间序列分析

附录 常用累积分布表和临界值表

参考文献

1.1数据分析简介

数据无处不在，同时又形式多样。合理的数据分析，能够帮助人们提取出数据中蕴含的有价值信息，并辅助人们做出合理决策。

1.1.1数据的定义与分类

数据泛指描述事物的符号记录，是构成信息和知识的原材料。实际应用中数据的形式多种多样，除了数字，还包括文字、图像、声音、影像等。随着信息技术的高速发展和大数据时代的到来，数据不再是社会生产的“副产物”，而是已经成为可以被二次乃至多次加工利用的生产资料。

实际生活、学习和工作中，数据已无处不在。例如，用户想买某电子产品时，在京东或淘宝上搜索了相关的关键词，这些行为数据会被系统记录下来。系统后台会对这些行为数据进行分析，并结合用户个人和相关人群的历史行为进行用户画像，进而产生个性化的推荐结果，帮助用户快速地从海量候选商品中找到自己需要且喜欢的商品。数据的收集和使用正在各个方面和领域不断地改善着人们的日常生活。例如，智慧城市平台会利用城市的实时交通信息、社交网络信息和天气预报数据来优化交通管理和调度。

数据既是构成信息和知识的原材料，也是信息和知识的表现形式和载体。原始的数据通常是杂乱无章、毫无规律的。为了从数据（data）中挖掘出有价值的信息(information)，进而形成结论或知识（knowledge），并帮助人们在特定的场景下做出合理的决策(智慧，wisdom)，需要进行相应的数据分析。这四者的关系可以用DIKW金字塔结构进行表示，如图1-1所示。为了传递和利用数据分析所得到的结果（信息和知识），还需要通过数据对其进行表达和记录。

……