大数据采集、预处理与可视化（微课版）9787115614353

葛继科： 西南大学博士，加拿大麦吉尔大学博士后出站，重庆科技学院教授，硕士研究生导师。主要从事人工智能、大数据应用、网络*等方面的教学与研究工作。主讲课程包括：大数据平台与应用、大数据分析与挖掘、大数据采集与优化、人工智能、计算机网络、网络*技术等。主持省部级教学质量工程项目1项，主持省部级教改重点项目2项、一般项目1项、*产学合作育人项目9项、校级教改项目4项，发表教改论文8篇。获省部级教学成果二等奖1项、校级教学成果二等奖2项。主持省部级科研项目7项，参与*科研项目3项、省部级5项；发表学术论文30余篇，其中SCI收录4篇、EI收录20篇、中文核心3篇，授权发明专利6项。出版教学*《计算机网络*技术应用探究》1部，主编《油田大数据应用技术》（石油工业出版社，2021年）、《量子人工智能引论》（西南师范大学出版社，2021年）等学术*。

第 1章大数据概述

1.1 大数据时代1

1.2 大数据的相关概念及特征2

1.2.1 大数据的概念2

1.2.2 大数据的发展历程3

1.2.3 大数据的特征5

1.2.4 大数据的作用6

1.2.5 大数据的应用领域7

1.2.6 大数据的关键技术8

1.3 大数据系统简介9

1.3.1 Hadoop生态系统9

1.3.2 Spark生态系统12

1.4 大数据思维15

1.4.1 传统思维方式15

1.4.2 大数据思维方式16

1.5 大数据伦理17

1.5.1 大数据伦理的由来17

1.5.2 大数据的伦理问题18

1.5.3 大数据的伦理原则21

1.6 大数据*22

1.6.1 数据全生命周期*22

1.6.2 大数据*防护技术23

1.7 本章小结24

1.8 题24

第２章Python程序设计

2.1 Python的安装与运行25

2.1.1 Python的特点25

2.1.2 Python的下载与安装26

2.1.3 Python程序的运行27

2.1.4 第三方软件包的安装29

2.1.5 Python编程规范31

2.2 数据类型与运算符33

2.2.1 数字和字符串33

2.2.2 列表和元组38

2.2.3 字典和集合42

2.2.4 运算符44

2.3 程序控制结构47

2.3.1 程序流程图47

2.3.2 顺序结构48

2.3.3 选择结构49

2.3.4 循环结构51

2.4 函数与模块54

2.4.1 函数的使用54

2.4.2 函数的参数传递55

2.4.3 全局变量与局部变量57

2.4.4 匿名函数58

2.4.5 模块59

2.5 文件60

2.5.1 文件的打开与关闭60

2.5.2 文件的读取与写入62

2.5.3 文件的定位63

2.6 本章小结63

2.7 题64

第３章大数据采集

3.1 大数据采集概述65

3.1.1 大数据采集的概念65

3.1.2 大数据采集的数据源66

3.1.3 大数据采集方法67

3.1.4 大数据采集台69

3.2 网络爬虫技术71

3.2.1 网络爬虫概述72

3.2.2 常用网络爬虫方法72

3.2.3 网页数据采集的实现75

3.2.4 常用网络爬虫工具78

3.2.5 电影评论爬取82

3.3 数据抽取技术85

3.3.1 数据抽取概述85

3.3.2 Kettle简介与其安装86

3.3.3 文本数据抽取87

3.3.4 网页数据抽取89

3.4 案例：网络租房信息采集91

3.4.1 网络爬虫采集数据91

3.4.2 抽取租房信息94

3.5 本章小结96

3.6 题96

第４章大数据预处理技术

4.1 数据预处理概述97

4.1.1 数据质量97

4.1.2 数据预处理的主要任务99

4.2 数据清洗99

4.2.1 缺失值处理方法99

4.2.2 噪声数据处理方法101

4.2.3 冗余数据处理方法105

4.2.4 数据格式与内容处理方法106

4.3 数据集成106

4.3.1 实体识别问题106

4.3.2 冗余问题107

4.3.3 数据值冲突的检测与处理109

4.4 数据变换110

4.4.1 数据规范化110

4.4.2 通过离散化变换数据112

4.5 数据归约113

4.5.1 过滤法114

4.5.2 包装法115

4.5.3 嵌入法116

4.6 数据*117

4.6.1 数据*类型117

4.6.2 数据*方法118

4.7 案例：汽车行驶工况数据预处理119

4.7.1 案例背景119

4.7.2 数据描述119

4.7.3 数据预处理120

4.8 本章小结124

4.9 题125

第５章Excel数据获取与预处理

5.1 Excel数据获取126

5.1.1 获取文本数据126

5.1.2 获取网站数据128

5.1.3 获取数据库中的数据130

5.2 Excel数据清洗与转换132

5.2.1 常用数据分析函数132

5.2.2 删除重复行136

5.2.3 文本查找与替换137

5.2.4 字符串截取139

5.2.5 数据的转置140

5.2.6 数据的查询和引用140

5.2.7 字母与数字的转换142

5.3 Excel数据抽取与合并143

5.3.1 值的抽取144

5.3.2 数据合并146

5.3.3 字段合并147

5.4 案例：房价行情的对比分析148

5.4.1 数据获取148

5.4.2 数据预处理与分析149

5.5 本章小结151

5.6 题151

第６章Python数据预处理

6.1 Python数据预处理基础153

6.1.1 科学计算库NumPy153

6.1.2 数据分析库pandas160

6.2 数据的分组、分割、合并和变形168

6.2.1 数据分组168

6.2.2数据分割171

6.2.3数据合并172

6.2.4 数据变形175

6.3 缺失值、异常值和重复值处理177

6.3.1 缺失值处理177