数据分析与大数据实践

 大数据、人工智能、云计算、物联网等新一代信息技术的发展，已经给世界经济、政治和社会形势带来深刻影响。党的十八大把创新摆在国家发展全局的核心位置，为人工智能如何赋能新时代指明了方向，也推动了实施国家大数据战略。高等学校是为国家储备战略人才的重要基地，与大数据、人工智能领域*密切相关的大学计算机基础教育不仅仅是学生个人能力提升的问题，更是影响国家发展战略和安全的大事。
 新文科，是相对于传统文科进行学科重组、文理交叉，即把新技术融入哲学、文学、语言等诸如此类的课程中，为学生提供综合性的跨学科学习。*高等教育司提出，高等教育创新发展势在必行，要全面推进新文科，推出“六卓越一拔尖”计划2.0版，为2035年建成教育强国、实现中国教育现代化提供有力支撑。
 人工智能时代的核心生产力是数据，各行各业都需要从数据的采集、分析、推理、预测和洞察中获益。国际数据公司IDC曾预测，2020年世界生成的数据量将是2011年的50倍,生成的信息源数量将是2011年的75倍，而2025年人类的大数据量将达到163 ZB，这些数据蕴含着推动人类进步的巨大发展机遇。要把机遇变成现实，需要我们的计算机基础教育为之培养大量的、具备数据思维能力和数据素养的人才。
 图灵奖得主，关系型数据库鼻祖詹姆士·格雷(James Gray)提出，大数据不仅仅是一种工具和技术，更是科学研究的第四范式。大数据是科学研究的新方法论。学习大数据是一种先进思维方式的锻炼和熏陶，是大数据时代的“博雅”教育。
 本书的编写目的是为解决以下四个问题：
 *，在高等学校计算机基础教学中引入大数据势在必行，但大数据技术的“三驾马车”是人工智能、统计学和数据可视化，这三个大数据基础技术都有很高的技术门槛，没有哪一项可以轻易地被零基础的大学一年级本科生掌握，即便是人工智能和大数据专业的学生，也要到大学高年级甚至研究生阶段才能基本掌握以上三种技术。
 如何在尊重教育自身的科学规律基础上，恰如其分地设计教学内容？完成教材建设？安排实践环节？既不能脱离学生真实的基础拔苗助长，也不能流于“讲故事”和“看热闹”。
 第二，大数据时代并不完全摒弃“小数据”分析和处理技术。目前，在实际应用中，除非是大数据行业的软、硬件工程师，一般工作人员*常用的数据分析和管理软件，仍然是Office套装软件中的Excel和Access。虽然现在很多高等学校甚至中学的计算机基础课上都设有办公自动化软件的扫盲性质课程，但很多人发现，学生学习*基本的使用方法之后，真正遇到工作、生活中稍微复杂点的数据处理问题，仍然不知如何快捷、高效地解决，也不知道利用Excel和Access可以“老瓶装新酒”，完成常规的数据清洗、分析和管理工作。
 第三，一般高等学校不具备普及大数据教育的实体硬件条件。大数据是指大而复杂的资料集，包括海量性、时变性、异构性、分布性等，这些特点使大数据的获取、存储和使用都成为难题。
 第四，数据可视化技术是大数据分析、挖掘和展示必不可少的一环，同时也是*打动人心的一环。而动态地、交互地、多姿多彩地展示大数据，并不是件容易的事情，如果通过编程实现，技术门槛之高容易令低年级学生望而生畏，辛苦半天仍差强人意。
 针对上述难题，本书和配套的《数据分析与大数据实践实验指导》一起，独树一帜地设计了主要内容，用轻量、便捷的方式，让读者学习和探索大数据的存储、加工、分析、挖掘、预测和展示的完整过程。
 本书*章介绍了大数据的基本概念，同时在尽量回避复杂公式的基础上，介绍了与大数据密切相关的信息论和统计学中的*重要的概念，包括信息的度量和信息熵、信息的编码、信息的有效性和等价性、信息的冗余和压缩，以及信息的相关性、贝叶斯公式等。
 第二章介绍用网络爬虫获取网络数据的方法。
 第三章介绍大数据加工的基本流程：数据清洗、数据转换、数据脱敏、数据集成、数据集合和数据归约。
 第四章介绍用Excel和Tableau进行数据处理、时间序列分析、回归分析和聚类分析等技术。
 第五章介绍利用Excel、Power BI和Tableau等数据分析和可视化领域中处于领头羊位置的三大软件进行数据分析和可视化的方法。
 第六章介绍了数据安全的概念和发布数据可视化结果的方案。
 第七章，我们特邀了富有教学和工程经验的Tableau公司的高级顾问撰写了精彩的数据分析和可视化综合实战案例。
 本书适合高等学校文、史、哲、法、教等文科专业，以及金融、统计、管理类商科专业学生，作为计算机应用课程的教材使用；也可以供各类社会计算机应用人员由浅入深、逐层递进地掌握数据分析和大数据应用的高级技巧；也可供准备参加数据分析与管理类计算机等级考试人员作为参考书使用。
 本书的作者由常年奋战在华东师范大学计算机基础教学*线的优秀教师和拥有丰富研发经验的工程师组成，他们大多是上海市精品课程主讲教师，拥有多部教材的写作经验，主编、参编的教材多次获得上海市和全国优秀教材奖，指导学生参加上海市和全国计算机应用、设计大赛屡获大奖。Tableau公司大中华区总裁叶松林也对本项目的实施给予了富有成效的协助。
 本书由白玥主编，王肃副主编。*章由白玥编写；第二章由余青松编写；第三章3.1~3.3节由胡文心编写，第3.4~3.6节由蔡建华编写；第四章4.1~4.2节由陈志云、江红、余青松编写，4.3~4.5节由王肃编写；第五章5.1~5.2节由曾秋梅编写，第5.3节由吴雯编写；第6章由俞琨编写；第7章由Tableau公司高级顾问潘奕璇编写。华东师范大学数据科学与工程学院教学部朱敏老师审核了书中章节，并对全书的组织、编撰工作提出了宝贵的建议，教学部的郑骏、蒲鹏等老师对本书的起草、编写做了很多指导和技术支持工作。华东师范大学出版社的编辑为本书的策划、出版做了大量工作，在此表示衷心的感谢。
 本书的习题答案、教学课件、例题演示视频等相关资料可在have.ecnup.com.cn下载。
 由于编者水平所限，书中错误在所难免，还望广大读者批评指正、不吝赐教。
 编者
2020年4月

《数据分析与大数据实践》是华东师范大学精品教材，由数据的组织与管理基本概念、Excel高级应用、Access数据库基础、文献检索基础等四大组成部分，包括Excel公式和函数的高级应用、Excel图表的高级应用、Excel数据分析与决策，以及当Excel力不能及时需要引入的数据结构基本知识、关系数据库基础知识、Access基本应用、SQL查询的使用、计算机文献检索、常用搜索引擎和图书文献数据库使用等。

白玥，女，华东师范大学计算机科学与软件工程学院讲师，所在单位是计算中心 ，主要负责的课程是：《大学计算机》(高水平运动员班)。

第1章 大数据与信息论简介
本章概要
学习目标
1.1 大数据基本概念
1.1.1 大数据的定义
1.1.2 大数据的特点
1.1.3 大数据的研究目标
1.2 大数据支撑技术简介
1.2.1 统计学简介
1.2.2 机器学习简介
1.2.3 数据可视化简介
1.2.4 大数据分析与计算工具
1.2.5 数据资源简介
1.3 信息论简介
1.3.1 信息的度量和信息熵
1.3.2 信息的编码
1.3.3 信息的有效性和哈夫曼编码
1.3.4 信息的冗余和压缩
1.3.5 信息的相关性
1.3.6 贝叶斯公式与因果关系
1.4 综合练习
1.4.1 选择题
1.4.2 填空题
1.4.3 综合实践

第2章 数据获取
本章概要
学习目标
2.1 数据获取概述
2.1.1 数据获取的来源
2.1.2 数据获取的方法
2.1.3 数据源和数据集
2.2 常用数据集的获取
2.2.1 常用的数据集
2.2.2 使用Python的sklearn提供的数据集
2.2.3 使用R语言提供的数据集
2.3 网页信息爬取
2.3.1 网络爬虫概述
2.3.2 HTTP基本原理
2.3.3 网页的基本结构
2.3.4 Python相关库
2.3.5 使用requests和re爬取猫眼电影TOP 100榜单
2.3.6 使用requests和bs4爬取豆瓣电影TOP 250榜单
2.4 综合练习
2.4.1 选择题
2.4.2 填空题
2.4.3 简答题
2.4.4 实践题

第3章 数据加工
本章概要
学习目标
3.1 基础知识
3.1.1 数据源文件格式
3.1.2 数据类型
3.1.3 数据预处理
3.2 数据清洗
3.2.1 为什么要数据清洗
3.2.2 数据清洗类型与方法
3.2.3 基于工具的数据清洗
3.3 数据转换
3.3.1 数据转换的目的
3.3.2 数据转换的方法
3.3.3 基于工具的快速转换
3.4 数据脱敏
3.4.1 数据的敏感信息
3.4.2 保护数据的方法
3.4.3 基于工具实现数据脱敏
3.5 数据集成
3.5.1 数据集成的基本类型
3.5.2 数据集成的难点
3.5.3 简单数据集成的实现
3.6 数据归约
3.6.1 数据归约
3.6.2 归约策略简介
3.7 综合练习
3.7.1 选择题
3.7.2 填空题

第4章 数据分析基础
本章概要
学习目标
4.1 数据分析基础
4.1.1 认识数据类型
4.1.2 公式的组成
4.1.3 数据验证与公式审核
4.2 数据分析应用
4.2.1 内置工作表函数
4.2.2 数据的输出与显示
4.3 时间序列预测分析
4.3.1 预测分析概述
4.3.2 时间序列预测分析概述
4.3.3 指数平滑预测模型
4.3.4 时间序列预测分析实例
4.4 回归分析
4.4.1 回归分析概述
4.4.2 回归分析模型
4.4.3 回归分析实例
4.5 聚类分析
4.5.1 聚类分析概述
4.5.2 K-Means算法
4.5.3 聚类分析实例
4.6 综合练习
4.6.1 选择题
4.6.2 填空题

第5章 数据可视化
本章概要
学习目标
5.1 数据可视化基础
5.1.1 可视化的意义
5.1.2 可视化表现形式
5.1.3 可视化艺术
5.2 数据可视化工具
5.2.1 利用Excel进行数据可视化
5.2.2 利用Power BI进行数据可视化
5.2.3 利用Tableau进行数据可视化
5.3 数据可视化实战
5.3.1 背景介绍和问题提出
5.3.2 数据准备
5.3.3 分析及可视化
5.3.4 分析图表整合
5.4 综合练习
5.4.1 简答题
5.4.2 实践题

第6章 数据安全与可视化数据共享
本章概要
学习目标
6.1 数据安全
6.1.1 数据存储安全
6.1.2 数据传输安全
6.1.3 数据处理安全
6.2 大数据安全与可视化数据共享
6.2.1 大数据安全与隐私保护
6.2.2 可视化数据共享
6.3 综合练习
6.3.1 选择题
6.3.2 填空题

第7章 数据分析与可视化综合实践
本章概要
学习目标
7.1 计算的类型与示例
7.1.1 基本计算
7.1.2 参数
7.1.3 表计算
7.1.4 详细级别表达式
7.2 数据分析与可视化综合实践
7.2.1 数据背景和来源
7.2.2 数据分析与可视化
7.2.3 故事综合案例
7.3 综合练习