智能数据分析与应用9787111731719

前言

单元1 了解数据分析

1.1 数据分析简介

1.2 数据分析的应用案例

1.3 数据分析步骤

单元总结

单元2 数据标注

2.1 数据标注的概念

2.2 数据标注的分类

2.3 数据标注的基本流程

2.4 常用数据标注工具

2.5 案例实施：数据标注

单元总结

评价考核

习题

单元3 数据统计

3.1 ndarray数组

3.2 NumPy切片与索引

3.3 对ndarray进行数学运算

3.4 案例实施：基于NumPy的股票统计分析

单元总结

评价考核

习题

单元4 数据处理

4.1 pandas数据结构

4.2 运用pandas进行数据处理

4.3 运用pandas进行数据统计

4.4 案例实施：药品销售数据分析

单元总结

评价考核

习题

单元5 数据可视化

5.1 Matplotlib的两种绘图接口

5.2 Matplotlib面向多种图形的接口

5.3 seaborn库

5.4 案例实施：超市数据分析

单元总结

评价考核

习题

单元6 数据建模

6.1 scikit-learn介绍

6.2 KNN算法

6.3 决策树分类算法

6.4 支持向量机

6.5 度量分类模型的性能

6.6 度量回归模型的性能

6.7 案例实施：手写数字识别

单元总结

评价考核

习题

单元7 数据分析综合案例

案例1：泰坦尼克号幸存者预测

案例2：房价预测

单元总结

参考文献

1.1数据分析简介

数据分析是指用适当的统计、分析方法对收集来的大量数据进行分析，将它们加以汇总、理解并消化，以求最大化地开发数据的功能、发挥数据的作用。数据分析是为了提取有用信息和形成结论而对数据加以详细研究和概括总结的过程。

数据也称为观测值，是实验、测量、观察、调查等的结果。数据分析中所处理的数据分为定性数据和定量数据。只能归入某一类而不能用数值进行测度的数据称为定性数据。定性数据中表现为类别但不区分顺序的是定类数据，如性别、品牌等；定性数据中表现为类别但区分顺序的是定序数据，如学历、商品的质量等级等。

从上面的介绍可以看出，数据分析并不是一个新兴的概念，只是伴随着时代的发展，或者更准确地讲是互联网浪潮的发展，逐渐演化成了一个行业，行业的从业人员称为“数据分析师”，从业者的主要职责就是不断从杂乱无章的数据中挖掘出存在价值的有效信息，再通过研究找出数据的内在规律，这些信息的最终目的是辅助人们做出决策。管理科学上有一个专业名词——“不断寻找最优解”，这就是数据分析的过程。

在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织、有目的地收集数据、分析数据，使之成为信息的过程。例如，设计人员在开始一个新的设计之前，要通过广泛的设计调查，分析所得数据以判定设计方向。因此数据分析在工业设计中具有极其重要的地位。

1.2数据分析的应用案例

1.啤酒与尿布的故事

“啤酒与尿布”的故事产生于20世纪90年代的美国某超市中，如图1-1所示。超市管理人员分析销售数据时发现了一个令人难以理解的现象：在某些特定的情况下，“啤酒”与“尿布”两件看上去毫无关系的商品会经常出现在同一个购物篮中，这种独特的销售现象引起了管理人员的注意，经过后续调查发现，这种现象出现在年轻的父亲身上，他们在购买尿布的同时，往往会顺便买啤酒犒劳自己。

……

本书采用案例式编写模式, 包括7个单元, 其中, 单元1介绍数据分析的基本概念、流程和常用工具包, 单元2介绍数据标注的分类、基本流程及工具的使用, 单元3介绍ndarray数组及Python科学计算库NumPy, 单元4介绍数据分析处理库pandas, 单元5介绍数据可视化工具包Matplotlib和seaborn, 单元6介绍分类和回归模型及评价指标, 单元7通过两个综合案例讲解数据分析的具体处理过程。