Python数据分析

根据Cummulus Media 2018年的数据，全球每分钟向谷歌发起370万次搜索，发送1800万条短信，YouTube上有430万条视频被观看，Facebook登录超过97万次，等等。人们刷微博、聊微信、用滴滴打车、用淘宝购物、用美团点外卖，每一条信息，每一次出行，每一次消费，每一次互动都成为其数字足迹！未来已来，我们进入了数据时代！

本人与数据正式结缘还要追溯到2003年担任软件项目经理时，当时分析项目团队的软件问题成为我的*个数据分析任务。2009年，我开始管理多个产品的全球支持团队，与数据的关系更进了一步。作为通信设备商，我们的客户支持有本地技术支持、欧洲及美洲等区域技术支持以及全球技术支持。每层的技术人员解决的问题类型、难度、时间以及成本都不同，电信运营商的设备故障每分每秒都将给客户带来巨大影响。面对成千上万的客户问题，如何快速、高效、低成本地处理各种问题，需要用数据来帮助我们做出决策。2013年后，我开始转向负责软件维护业务，此时我关心的是： 如何从软件维护中获取更多收入； 如何更好地提高客户服务质量； 针对全球的客户，如何对客户进行细分； 哪些客户的维护业务对公司更有价值； 面对客户时如何说服他们维护业务带来的价值远远超过了成本。这一切更需要数据来支持！

不仅工作中需要数据思维，我们的生活也需要数据思维，它可以帮我们找工作、买房、从投资中获利，等等。那么什么是数据思维？数据思维*核心的思想是利用数据解决问题，而利用数据解决问题则需要深度了解需求，了解真正要解决什么样的问题，解决问题背后的真实目的是什么。在解决问题的过程中，
使用数据分析的方法，帮助我们从庞杂的数据中提取有价值的信息，做出更好的决策，本书正是围绕此目标而编写。全书分上下两篇。上篇（第1章~第10章）介绍了什么是数据分析，如何利用Python中的Pandas库进行基本的数据操作、数据清洗、数据整理，如何对数据进行可视化。下篇（第11章~第21章）着重于数据分析实战，
尽可能多地为读者展示各种数据分析应用，目的是让读者体会到数据分析的作用
。其中既有数据分析在企业中的应用，如客户群组分析、客户细分、A/B测试等，又有数据分析在我们生活中的应用，
如找工作、买房、投资等。通过这些案例，希望读者能够理解数据分析是没有边界的，只要能提出问题，就能找到它的用武之地。

随着可穿戴设备的兴起，
物联网、人工智能伴随5G而来，用数据定义问题、用数据讲故事、用数据支持决策的能力也越来越重要，本书是作者对过去学习与工作的总结，希望能成为读者迈入数据世界的*本书。

本书第7章、第14章和第15章由邹静完成，其余章节由江雪松完成。由于作者水平有限，书中难免有不足之处，还望读者
不吝指正！
感谢清华大学出版社的盛东亮老师为出版本书提供的帮助！同时也要感谢本书编辑
团队付出的辛勤劳动！将近一年时间的写作，意味着无法陪伴家人，在此也要感谢他们的理解与支持。

江雪松

2020年4月

说明
1. 写作风格
本书上篇为Pandas数据分析基础，因此作者对于代码的讲解相对详细。下篇为案例实战，经过上篇的学习，
读者应该已经具备了自学Pandas中新函数的能力，因此在讲解时以案例为主，对部分代码不再逐行解读，希望读者能自己动手实践，加深理解。
2. 英文术语的翻译
本书中的英文术语在两种情况不进行翻译，采取保留英文原文的方式。*种情况是专有术语，无中文翻译，
如Pandas、Jupyter Notebook等。第二种情况是Pandas中的专有数据结构DataFrame和Series，采取不翻译的方式，另外对于DataFrame中的Index，如果可能在上下文产生歧义，我们会采取保留英文原文的方式。
3. 代码格式
本书中的代码均在Jupyter Notebook中编写完成，Jupyter Notebook的一大优势是提供了良好的用户交互输出。为了更好地区分代码与输出，全书中的代码采用如下格式。

retail_data.dtypes

InvoiceNo object

StockCodeobject

Countryobject

Total_pricefloat64

dtype: object

其中，前面带有“”的代表Jupyter Notebook中的一段代码。例如，上面代码段中的“retail_data.dtypes”代表的是一行代码，前面没有“”的部分则代表了代码对应的输出。类似地，如下内容中“”后面代表的是一段代码。

def rad_to_degrees(x, pos):

 '角度幅度转换'

 #两个参数分别是值与tick位置

 return round(x * 57.2985, 2)

4. 全书代码与数据下载
由于本书是一本数据分析实战的书，因此书中大量使用了各种不同真实场景的数据和代码，为了方便读者学习，我们也提供了数据和代码下载。读者可以关注微信公众号“见数知理”获得代码与数据的下载方式。

本系统讨论Python数据分析基础与案例实战的教程。全书共分为上下两篇：上篇Pandas数据分析基础（第1章～第10章），首先介绍了什么是数据分析、数据分析的基本流程、如何构建基于Python的数据分析开发环境，之后上篇深入讨论了如何利用Python中的Pandas库进行基本的数据操作、数据清洗、数据整理，以及如何对数据进行可视化，*后第10章用一个电商销售数据的分析案例对上篇的知识进行了总结。下篇Python数据分析实战（第11章～第21章）目的是让读者体会到数据分析能干什么，目标是尽可能多的为读者展示各种数据分析应用。下篇中将讨论数据分析在企业中的应用案例，例如客户群组分析、客户细分、A/B测试，客户购物篮分析等；同时下篇也介绍了数据分析在生活中的应用，例如利用数据分析找工作、进行房价分析、进行股票投资的案例。此外下篇也对时间序列数据，大规模数据分析等进行了讨论。通过这些案例希望读者能够理解数据分析是没有边界的，只要能提出问题，就能找到它的用武之地。随着人类正从信息时代走向数据时代，大数据可视化应用的火爆发展，地理信息数据可视化也受到了越来越多的重视。作为地理数据应用的*后一步，地理信息数据的可视化，不仅是为了酷炫好看，还是为了将空间分布上的规律更加简洁直观的展示出来，同时挖掘更深层次的信息，因此本书也额外提供了如何利用Basemap库和Folium库完成地理信息数据的可视化教程供读者单独下载。

江雪松 2001年获工学硕士学位，曾服务于华为、诺基亚等公司，有丰富的产品团队与研发团队管理经验。先后担任项目经理、研发经理、产品研发负责人，管理多个产品全球支持与交付团队，软件维护业务。

当今是一个数据的时代！对于企业，数据分析可以帮助我们优化业务；发现新业务机会；创造新的商业价值。对于个人，通过传感设备把日常生活及身体锻炼的各项指标进行数据化处理，*终完成个人的量化分析，协助我们养成生活规律，更高质量地生活。《Python数据分析》将理论与实战结合，向读者展示了大量基于Python的数据分析及其应用，是数据分析人员不可多得的一本入门与进阶书籍。
——黄彦成 浙江大学杭州州力数据科技有限公司副总经理
《Python数据分析》内容精练、重点突出、实例丰富，是广大数据分析工作者的入门参考书，也适合作为从事Pyhton程序设计者的参考读物。书中很多案例，可以举一反三，二次开发应用。
——黄海 美国Amazon公司研发经理
《Python数据分析》系统介绍了数据分析的基本理论与方法，并结合Pandas工具库由浅入深地对数据分析的实践进行了论述。全书知识全面、案例丰富，对数据分析的入门者和提高者都具有很大参考价值。
——缪敬 OPPO公司通信架构师
在系统测试工作中，每天都会产生大量的数据——包括测试计划、测试用例、 测试配置、测试执行、日志、缺陷报告，等等。 如果没有数据分析与处理的思想与方法，即使有海量的数据，我们可能也无不能发它们的价值。《Python数据分析》可以帮助测试工程师建立据思维，对日常工作中产生的数据进行整理和分析，并利用分析结果去提高测试工作的有效性，提高自动化水平。
——杨剑飞 美国EMC公司高级主任工程师

上篇Pandas数据分析基础

第1章数据分析初探

1.1“数据 ”时代的到来

1.2什么是数据分析

1.2.1数据分析的目标

1.2.2数据分析分类

1.2.3典型的数据分析方法

1.3数据分析的基本流程

1.3.1问题定义

1.3.2收集数据

1.3.3数据处理

1.3.4数据分析

1.3.5结果解读与应用

1.4硝烟中的数据分析

1.4.1数据分析的产生

1.4.2验证问题

1.4.3寻找原因

1.4.4数据怎么说

1.4.5数据分析中应该避免的典型问题

第2章搭建数据科学开发环境

2.1为什么选择Python

2.1.1人生苦短，我用Python

2.1.2为何Python是数据科学家的*选择

2.2Python数据科学开发栈

2.2.1Cython

2.2.2NumPy

2.2.3IPython

2.2.4Jupyter

2.2.5SciPy

2.2.6Matplotlib

2.2.7Pandas

2.2.8Scikitlearn

2.2.9NetworkX

2.2.10PyMC3

2.2.11数据科学领域中*的一些Python包

2.3Anaconda的安装与使用

2.3.1安装Anaconda

2.3.2利用Conda管理Python环境

2.3.3利用Conda管理Python包

2.3.4安装本书所需的包

2.4使用Jupyter Notebook进行可重复数据分析

2.4.1Jupyter Notebook的配置

2.4.2Jupyter Notebook中的单元格

2.4.3Jupyter Notebook中的命令模式与编辑模式键

2.4.4使用Jupyter Notebook进行数据分析

第3章Pandas基础

3.1什么是DataFrame

3.1.1DataFrame的基本要素

3.1.2数据类型

3.1.3了解Series

3.1.4链式方法

3.2索引与列

3.2.1修改索引与列

3.2.2添加、修改或删除列

3.3选择多列

第4章数据筛选

4.1使用.loc和.iloc筛选行与列数据

4.1.1选择Series和DataFrame中的行

4.1.2同时选择行与列

4.2布尔选择

4.2.1计算布尔值

4.2.2多条件筛选数据

第5章开始利用Pandas进行数据分析

5.1了解元数据

5.2数据类型转换

5.3缺失数据与异常数据处理

5.3.1缺失值与重复值

5.3.2处理缺失数据

5.3.3NumPy与Pandas对缺失数据的不同处理方式

5.3.4填充缺失值

5.4处理重复数据

5.5异常值

5.6描述性统计

第6章数据整理

6.1什么是数据整理

6.1.1数据的语义

6.1.2整齐的数据

6.2数据整理实战

6.2.1列标题是值，而非变量名

6.2.2多个变量存储在一列中

6.2.3变量既在列中存储，又在行中存储

6.2.4多个观测单元存储在同一表中

6.2.5一个观测单元存储在多个表中

6.2.6思考

第7章分组统计

7.1分组、应用和聚合

7.2Pandas中的GroupBy操作

7.2.1单列数据分组统计

7.2.2多列数据分组统计

7.2.3使用自定义函数进行分组统计

7.2.4数据过滤与变换

第8章数据整合

8.1数据读入

8.1.1基本数据读入方法

8.1.2文件读取进阶

8.1.3读取其他格式文件

8.2数据合并

8.2.1认识merge操作

8.2.2merge进阶

8.2.3join与concat

第9章数据可视化

9.1Matplotlib

9.1.1绘制*个散点图

9.1.2理解figure与axes

9.1.3Matplotlib中面向对象与类Matlab语法的区别

9.1.4修改坐标轴属性

9.1.5修改图形属性

9.1.6定制图例，添加标注

9.1.7子图

9.1.8利用Matplotlib绘制各种图形

9.2Pandas绘图

9.2.1Pandas基础绘图

9.2.2整合Pandas绘图与Matplotlib绘图

9.3Seaborn

9.3.1Seaborn中的样式

9.3.2Seaborn绘制统计图形

9.4可视化进阶

9.4.1其他可视化工具

9.4.2推荐读物

第10章探索性数据分析——某电商销售数据分析

10.1数据清洗

10.1.1分析准备

10.1.2了解数据

10.2数据清洗与整理

10.2.1数据类型转换与错误数据删除

10.2.2添加新数据

10.3探索性数据分析

10.3.1客户分析

10.3.2订单趋势分析

10.3.3客户国家分析

10.3.4留给读者的问题

下篇Python数据分析实战

第11章群组分析

11.1群组分析概述

11.1.1从AARRR到RARRA的转变

11.1.2什么是群组分析

11.2群组分析实战

11.2.1定义群组以及周期

11.2.2群组分析具体过程

11.2.3思考

第12章利用RFM分析对用户进行分类

12.1RFM分析简介

12.1.1RFM模型概述

12.1.2理解RFM

12.2RFM实战

12.2.1R、F、M值的计算

12.2.2利用RFM模型对客户进行细分

12.2.3思考

第13章购物篮分析

13.1购物篮分析概述

13.1.1什么是购物篮分析

13.1.2购物篮分析在超市中的应用

13.1.3购物篮分析实现

13.2购物篮分析案例

13.2.1Mlxtend库中Apriori算法使用介绍

13.2.2在线销售数据购物篮分析

13.3留给读者的思考

第14章概率分布

14.1随机数

14.2常见的概率分布

14.2.1均匀分布

14.2.2正态分布

14.2.3二项分布

14.2.4泊松分布

14.2.5几何分布与指数分布

14.3点估计与置信区间

14.3.1点估计

14.3.2抽样分布与中心极限定理

14.3.3置信区间

14.4留给读者的思考

第15章假设检验

15.1假设检验概述

15.1.1初识假设检验

15.1.2假设检验的步骤

15.1.3假设检验中的Ⅰ类错误与Ⅱ类错误

15.2Python中的假设检验

15.2.1单样本ttest

15.2.2双样本ttest

15.2.3配对ttest

15.2.4卡方检验

15.3留给读者的思考

第16章一名数据分析师的游戏上线之旅

16.1游戏启动时间是否超过目标

16.1.1启动时间是否超过3秒

16.1.2构造启动时间监测图

16.2次日留存率是否大于30%

16.3应该在游戏第几关加入关联微信提示

16.3.1A/B测试

16.3.2贝叶斯解决方案

16.4如何定价

16.5留给读者的思考

第17章利用数据分析找工作

17.1设定分析目标

17.1.1问题定义

17.1.2获取数据

17.2准备分析数据

17.2.1数据准备

17.2.2数据清洗

17.3开始数据分析

17.3.1职位来自哪里

17.3.2职位薪酬如何

17.3.3岗位要求

17.3.4思考

第18章用数据解读成都房价

18.1设定分析目标

18.1.1问题定义

18.1.2获取数据

18.2解读成都二手房

18.2.1数据准备

18.2.2列名调整

18.2.3数据类型转换

18.2.4数据解读

18.2.5思考

第19章时间序列分析

19.1认识时间序列数据

19.1.1读入时间序列数据

19.1.2时间序列数据的可视化

19.2时间序列数据的分解

19.2.1认识时间序列数据中的模式

19.2.2Python中进行时间序列数据的分解

19.3时间序列的平稳性

19.3.1认识平稳与非平稳时间序列

19.3.2如何让时间序列平稳

19.4利用ARIMA模型分析家具销售

19.4.1ARIMA模型简介

19.4.2数据准备

19.4.3ARIMA模型中的参数

19.5留给读者的思考

第20章股票数据分析

20.1股票收益分析

20.1.1获取股票数据

20.1.2计算每日收益

20.1.3多只股票收益比较

20.1.4股价相关性分析

20.2CAPM资产定价模型选股

20.2.1CAPM公式

20.2.2在Python中实现CAPM

20.3留给读者的思考

第21章大规模数据处理

21.1不同规模数据处理工具的选择

21.2利用Pandas处理大规模数据

21.2.1文件分块读入

21.2.2使用数据库

21.2.3使用DASK

21.3其他可选方法

21.4留给读者的思考

作者 2020年8月

本书涉及的主题如下：
 数据分析；
数据清洗；
数据可视化；
探索性数据分析；
概率分布与假设检验；
群组分析；
购物篮分析；
时间序列分析。
本书突出的特点如下：
系统讨论基于Python的数据分析环境构建与数据分析流程；
将数据分析理论与实践结合，基于真实的案例介绍数据分析。