数据分析从入门到进阶

前言

随着大数据技术的快速发展，人们对数据的价值越来越重视，数据采集、存储、安全技术也变得日益重要，数据分析和数据挖掘技术得到了日益广泛的应用。利用数据分析技术从海量数据中提取的信息具有极高的价值，例如，支持企业高层进行业务决策、发现新的销售和市场机会、提升组织的社交媒体营销能力、提高用户忠诚度以及复购率、降低用户流失率、提前预测风险并进行防范等。

对于数据的重视以及数据分析技术的发展与应用，带动了企业对数据分析人才需求的快速增长。在未来一段时间内，数据分析人才缺口会很大。从事数据分析工作需要专门的技能，一名优秀的数据分析师既要熟练掌握数据分析之“道”——数据分析的策略、方法（也可以将其理解为做数据分析的思路），也要熟练掌握数据分析之“术”——数据分析工具的使用。此外，数据分析师还需要熟悉行业知识、公司业务及流程，了解企业产品和运营活动的设计思路，才能根据数据分析的结论驱动业务增长落地，使得数据分析工作的价值和自身的价值得以实现。

本书结合数据分析工作的实际情况，通过大量案例介绍了数据分析的方法和工具，内容涵盖了Excel、VBA、SQL、Tableau以及Python这几个常用的数据分析工具的使用，融会贯通地介绍了数据分析的道与术。通过本书，读者可以由浅入深、循序渐进地学习数据分析，为日常工作中数据的处理与分析打下坚实的基础。

本书内容

第1章数据分析入门。主要内容包括什么是数据分析、数据分析的职业发展及分类，以及数据分析之“道”（数据分析需要掌握的理论知识）与数据分析之“术”（各类软件工具的运用）。

第2章数据分析——从玩转Excel开始。主要内容包括Excel概述、高效处理数据的Excel函数家族、十分有用的Excel数据分析技巧、酷炫的Excel图表可视化、让你的Excel报表动起来（VBA）。

第3章海量数据管理——拿MySQL说事儿。主要内容包括MySQL数据库的安装、将数据写入到数据库中、重要的单表查询、复杂的多表查询、通过索引提高数据的查询速度、数据库的增删改操作。

第4章数据可视化——Tableau的使用。主要内容包括数据可视化概述、Tableau概述、数据可视化图表、仪表板的制作与发布。

第5章数据分析进阶——Python数据分析。主要内容包括数据分析的利器—Python、Jupyter的使用技巧、数据读取—从pandas开始、常见的数据处理技术、探索性数据分析、线性回归模型的应用。

本书特点

?  由浅入深，循序渐进：本书在简要概述了数据分析的基本概念之后，首先讲解了数据分析入门工具Excel的操作技巧，然后结合案例讲解了VBA的知识点，帮助读者快速掌握表格处理技术；结合MySQL数据库对SQL语言的讲解可以让读者轻松地处理海量数据；Tableau是用来进行数据可视化分析的重要工具；Python作为本书的进阶部分内容，可以帮助读者高效处理数据和通过建模进行数据分析。书中讲解的知识点环环相扣、逐层深入，比较符合初学者学习数据分析的认知规律。

?  案例丰富，轻松易学：本书在介绍各类数据分析工具时结合了大量的实际案例，能够让读者快速理解并掌握各个知识点，简单易学、轻松上手。

?  内容全面，讲解详细：本书定位在数据分析的入门与进阶，从数据分析理论到数据处理、从可视化分析到建模分析，知识点覆盖得很全面。全书后附有彩插，将书中对应效果图直观呈现，方便读者参考。

?  配套资源丰富，免费提供：本书中的案例涉及的数据集、代码等资源都免费提供给读者学习使用，可通过扫描封底二维码IT有得聊，并输入本书书号中的五位数字获取。

适用对象

本书适合有志于从事数据分析工作或已从事初级数据分析工作的人士自学，也适合产品经理、运营人员、市场人员、对数据分析感兴趣的企业高管以及创业人员等参考。

本书作者

本书由陈红波、刘顺祥等编著，参与本书编写的人员还有孙宗鹏、朱烨、陶颖。此外，还要对帮助本书出版的所有朋友致以衷心的感谢！由于作者水平有限，书中难免出现错误和不足之处，敬请广大读者批评指正。

希望本书能够成为您数据分析入门的领航者。

陈红波  刘顺祥

2019年1月11日

本书由一线数据分析师精心编写，通过大量案例介绍了数据分析工作中常用的数据分析方法与工具。本书包括5章内容，分别是数据分析入门、数据分析——从玩转Excel开始、海量数据管理——拿MySQL说事儿、数据可视化——Tableau的使用、数据分析进阶——Python数据分析。本书通俗易懂、通过大量贴近企业真实场景的案例，帮助读者在提高数据处理技能的同时加深对数据分析思维的理解。

本书适合有志于从事数据分析工作或已从事初级数据分析工作的人士自学，也可作为产品经理、运营人员、市场人员、对数据分析感兴趣的企业高管以及创业者的参考用书。

陈红波，硕士，“大海鱼数据分析”公众号运营者。曾就职于国内大型金融、游戏、电商公司的数据部门，担任高级数据分析师一职，具有丰富的行业数据分析经验。目前主要负责企业数据部门的管理工作，内容包括数据治理、报表架构、数据支持、业务分析、数据咨询等。

刘顺祥，统计学硕士，“数据分析1480”公众号运营者。曾就职于唯品会电商平台，担任高级数据分析师一职。目前就职于国内某数据咨询公司，为联想、亨氏、美丽田园、喜力、网鱼网咖等企业提供数据咨询服务。著有《从零开始学Python数据分析与挖掘》一书。

目录

前言

第1章  数据分析入门1

1.1  什么是数据分析1

1.1.1  数据分析的含义1

1.1.2  数据分析的操作步骤2

1.1.3  数据分析的应用场景5

1.1.4  数据分析的发展趋势8

1.2  数据分析的职业发展及分类8

1.3  数据分析之道10

1.3.1  三类统计分析策略10

1.3.2  数据分析的常用方法17

1.4  数据分析之术22

1.4.1  的Excel处理方法22

1.4.2  高超的数据库查询技巧23

1.4.3  纯熟的数据可视化技能23

1.4.4  高大上的统计编程技术26

第2章  数据分析——从玩转Excel开始28

2.1  Excel概述28

2.1.1  强大的数据处理技能28

2.1.2  实用的数据分析技巧29

2.1.3  丰富的数据可视化图表30

2.1.4  便捷的自动化数据处理30

2.1.5  快速实现业务报表开发32

2.2  高效处理数据的Excel函数家族34

2.2.1  常用的统计分析函数35

2.2.2  灵活的文本处理函数49

2.2.3  便捷的数值运算函数59

2.2.4  经典的逻辑判断函数68

2.2.5  实用的日期计算函数74

2.2.6  高效的匹配查找函数80

2.3  十分有用的Excel数据分析技巧94

2.3.1  数据透视表实现统计分析95

2.3.2  描述性统计分析113

2.3.3  相关系数与协方差115

2.3.4  线性回归模型预测118

2.3.5  移动平均模型预测121

2.4  酷炫的Excel图表可视化123

2.4.1  Excel基础图表123

2.4.2  高级可视化图表135

2.5  让你的Excel报表动起来141

2.5.1  VBA基础语法142

2.5.2  录制宏，解放你的双手152

2.5.3  VBA应用：学生成绩信息统计154

2.5.4  VBA应用：报表发送前的一键优化155

2.5.5  VBA应用：数据库字典的超链接156

2.5.6  VBA应用：一键合并拆分工作簿158

2.5.7  VBA应用：从数据库获取并更新数据163

第3章  海量数据管理——拿MySQL说事儿174

3.1  MySQL数据库的安装174

3.2  将数据写入到数据库中178

3.2.1  常用的数据类型178

3.2.2  手工建表181

3.2.3  数据插入183

3.2.4  外部数据的批量导入186

3.3  重要的单表查询191

3.3.1  SQL查询的7个核心关键词——以链家二手房数据为例192

3.3.2  基于CASE WHEN的常用查询——以电商交易数据为例201

3.3.3  几种常见的嵌套查询——以学员考试成绩为例205

3.3.4  基于分组排序的辅助列功能——以销售员业绩数据为例210

3.4  复杂的多表查询214

3.4.1  纵向表合并——以超市交易数据为例215

3.4.2  表连接操作——以校园一卡通记录数据为例217

3.5  通过索引提高数据的查询速度224

3.5.1  常见的索引类型224

3.5.2  索引的查询和删除229

3.5.3  关于索引的注意事项230

3.6  数据库的增删改操作231

3.6.1  数据库的增操作231

3.6.2  数据库的删操作232

3.6.3  数据库的改操作235

第4章  数据可视化——Tableau的使用238

4.1  数据可视化概述238

4.1.1  什么是数据可视化238

4.1.2  为什么要实现数据可视化240

4.2  Tableau概述241

4.2.1  软件安装241

4.2.2  连接数据源243

4.2.3  数据源界面249

4.2.4  工作区界面251

4.2.5  高级操作259

4.2.6  保存结果264

4.3  数据可视化图表265

4.3.1  条形图266

4.3.2  柱形图267

4.3.3  折线图268

4.3.4  面积图271

4.3.5  符号图272

4.3.6  树状图272

4.3.7  气泡图273

4.3.8  文字云273

4.3.9  饼图274

4.3.10  热图274

4.3.11  盒须图275

4.3.12  双轴图276

4.3.13  动态图表277

4.3.14  参数图表279

4.3.15  漏斗图282

4.4  仪表板的制作与发布286

4.4.1  仪表板的制作286

4.4.2  可视化成果发布288

第5章  数据分析进阶——Python数据分析291

5.1  数据分析的利器——Python291

5.1.1  Anoconda——Python集成开发环境的安装292

5.1.2  Python编程工具的选择295

5.2  Jupyter的使用技巧297

5.2.1  代码运行组合键297

5.2.2  代码框操作组合键297

5.2.3  注释组合键297

5.2.4  帮助组合键298

5.2.5  代码与笔记的切换组合键298

5.3  数据读取——从pandas开始299

5.3.1  文本文件的读取299

5.3.2  电子表格的读取301

5.3.3  数据库数据的读取303

5.4  常见的数据处理技术306

5.4.1  数据的概览与清洗306

5.4.2  数据的引用312

5.4.3  多表合并与连接314

5.4.4  数据的汇总319

5.5  探索性数据分析324

5.5.1  异常数据的检测与处理324

5.5.2  数据的描述331

5.5.3  数据的推断348

5.6  线性回归模型的应用358

5.6.1  简单线性回归模型——刹车距离的研究359

5.6.2  多元线性回归模型——产品市场销售额的研究363

5.6.3  模型的显著性检验——F检验365

5.6.4  回归系数的显著性检验——t检验367

5.6.5  基于回归模型识别异常点370

5.6.6  模型的预测372

本书由一线数据分析师精心编写，通过大量案例介绍了数据分析工作中常用的数据分析方法与工具。本书包括5章内容，分别是数据分析入门、数据分析——从玩转Excel开始、海量数据管理——拿MySQL说事儿、数据可视化——Tableau的使用、数据分析进阶——Python数据分析。本书通俗易懂、通过大量贴近企业真实场景的案例，帮助读者在提高数据处理技能的同时加深对数据分析思维的理解。

本书适合有志于从事数据分析工作或已从事初级数据分析工作的人士自学，也可作为产品经理、运营人员、市场人员、对数据分析感兴趣的企业高管以及创业者的参考用书。

陈红波，硕士，“大海鱼数据分析”公众号运营者。曾就职于国内大型金融、游戏、电商公司的数据部门，担任高级数据分析师一职，具有丰富的行业数据分析经验。目前主要负责企业数据部门的管理工作，内容包括数据治理、报表架构、数据支持、业务分析、数据咨询等。

刘顺祥，统计学硕士，“数据分析1480”公众号运营者。曾就职于唯品会电商平台，担任高级数据分析师一职。目前就职于国内某数据咨询公司，为联想、亨氏、美丽田园、喜力、网鱼网咖等企业提供数据咨询服务。著有《从零开始学Python数据分析与挖掘》一书。

本书内容由浅入深、循序渐进，非常实用，很适合零基础的入门读者系统掌握数据分析的基本原理、方法和工具，值得学习和在工作中使用。

                                                                   中国农业大学计算中心主任兼农业大数据实验室主任   李辉

    随着5G的逐步商业化、物联网和车联网等新业务的普及，数据的阀门还将被进一步打开，未来几年仍将是大数据技术、数据挖掘技术发展的黄金时期。本书基于作者多年的数据分析实践，结合多种主流的数据分析工具的应用，对数据分析的方法进行了系统阐述，由术入道，循序渐进，对于有志进入数据分析和数据挖掘领域的读者朋友有很高的参考价值。

                                                                        上海家化品牌管理部 数据挖掘与算法高级经理   王峰

    这本书全面、系统地介绍了成长为一名优秀的数据分析师所需要掌握的“道”和“术”，并提供了丰富的案例帮助读者更好地开展数据分析实践，是一本值得阅读的好书。