数据清洗

图书标准信息

• 作者 刘鹏 张燕 李法平 陈潇潇
• 出版社 清华大学出版社
• 出版时间 2018-06
• 版次 1
• ISBN 9787302493273
• 定价 58.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 238页
• 字数 280千字

【内容简介】

数据清洗是大数据领域不可缺少的环节，用来发现并纠正数据中可能存在的错误，针对数据审查过程中发现的错误值、缺失值、异常值、可疑数据，选用适当方法进行“清理”，使“脏”数据变为“干净”数据。
  本书共分为8章：第1章主要介绍数据清洗的概念、任务和流程，数据标准化概念及数据仓库技术等；第2章主要介绍Windows和类UNIX操作系统下的数据常规格式、数据编码及数据类型转换等；第3章介绍ETL概念、数据清洗的技术路线、ETL工具及ETL子系统等；第4章介绍Excel、Kettle、OpenRefine、DataWrangler和Hawk的安装及使用等；第5章介绍Kettle下文本文件抽取、Web数据抽取、数据库数据抽取及增量数据抽取等；第6章介绍数据清洗步骤、数据检验、数据错误处理、数据质量评估及数据加载；第7章介绍网页结构，利用网络爬虫技术进行数据采集，利用JavaScript技术进行行为日志数据采集等；第8章介绍RDBMS的数据清洗方法和数据脱敏处理技术等。
  本书系统地讲解了数据清洗理论和实际应用，适用于高职高专院校和应用型本科的大数据课程教学，也适用于希望了解数据清洗的广大读者。

【作者简介】

李法平- 副教授/系统分析师，硕士，重庆电子工程职业学院软件学院移动应用开发教研室主任，主要从事高职软件类专业教学研究、教育信息化系统和企业信息化系统等应用技术研究。

【目录】

第1章  数据清洗概述 1

1.1  数据清洗简介 1

1.1.1 

数据科学过程 1

1.1.2 

数据清洗定义 2

1.1.3 

数据清洗任务 3

1.1.4 

数据清洗流程 4

1.1.5 

数据清洗环境 5

1.1.6 

数据清洗实例说明 6

1.2  数据标准化 7

1.2.1 

数据标准化概念 7

1.2.2 

数据标准化常用方法 8

1.3  数据仓库简介 9

1.3.1 

数据仓库定义 9

1.3.2 

数据仓库组成要素 10

1.3.3 

数据仓库分类 11

1.3.4 

数据仓库相关技术 12

1.3.5 

常用工具简介 13

1.4  习题 14

第2章  数据格式与编码 16

2.1  文件文本格式 16

2.1.1 

常见文本格式 17

2.1.2 

xls及xlsx文件格式 18

2.1.3 

JSON文本格式 19

2.1.4 

HTML和XML文本格式 19

2.2  数据编码 20

2.2.1 

数据类型 21

2.2.2 

数据类型间转换 25

2.2.3　字符编码 26

2.2.4 

空值和乱码 28

2.3  数据转换 28

2.3.1 

电子表格转换 29

2.3.2 

RDBMS数据转换 30

2.4  习题 30

第3章  基本技术方法 31

3.1 

ETL入门 31

3.1.1 

ETL解决方案 31

3.1.2 

ETL基本构成 33

3.1.3 

ETL技术选型 35

3.2  技术路线 35

3.2.1 

文本清洗路线 35

3.2.2 

RDBMS清洗路线 36

3.2.3 

Web内容清洗路线 36

3.3 

ETL工具 37

3.3.1 

ETL功能 37

3.3.2 

开源ETL工具 38

3.4 

ETL子系统 39

3.4.1 

抽取 39

3.4.2 

清洗和更正数据 39

3.4.3 

数据发布 40

3.4.4 

管理ETL 41

3.5  习题 41

第4章  数据清洗常用工具及基本操作

42

4.1 

Microsoft Excel数据清洗基本操作 42

4.1.1 

Excel数据清洗概述 42

4.1.2 

Excel数据清洗 53

4.2 

Kettle简介及基本操作 57

4.2.1 

Kettle软件概述 57

4.2.2 

Kettle基本操作 60

4.2.3 

Kettle数据清洗实例操作 64

4.3 

OpenRefine简介及基本操作 68

4.3.1 

OpenRefine软件概述 69

4.3.2 

OpenRefine基本操作 70

4.3.3 

OpenRefine数据清洗实例操作 73

4.4 

DataWrangler简介及基本操作 80

4.4.1 

DataWrangler软件概述 80

4.4.2 

DataWrangler基本操作 81

4.4.3 

DataWrangler数据清洗实例操作 82

4.5 

Hawk简介及基本操作 86

4.5.1 

Hawk软件概述 86

4.5.2 

Hawk基本操作 88

4.5.3 

Hawk数据清洗实例操作 91

4.6  上机练习与实训 98

4.7  习题 103

第5章  数据抽取 104

5.1  文本文件抽取 104

5.1.1 

制表符文本抽取 107

5.1.2 

CSV文件抽取 111

5.2 

Web数据抽取 114

5.2.1 

HTML文件抽取 114

5.2.2 

JSON数据抽取 116

5.2.3 

XML数据抽取 120

5.3  数据库数据抽取 123

5.3.1 

数据导入导出 123

5.3.2 

ETL工具抽取 124

5.3.3 

SQL到NoSQL抽取 127

5.4  上机练习与实训 135

5.5  习题 143

第6章  数据转换与加载 144

6.1  数据清洗转换 144

6.1.1 

数据清洗 145

6.1.2 

数据检验 151

6.1.3 

错误处理 156

6.2  数据质量评估 161

6.2.1 

数据评估指标 161

6.2.2 

审计数据 163

6.3  数据加载 164

6.3.1 

数据加载的概念 164

6.3.2 

数据加载的方式 164

6.3.3 

批量数据加载 165

6.3.4 

数据加载异常处理 165

6.4  上机练习与实训 166

6.5  习题 173

第7章  采集Web数据实例 175

7.1  网页结构 175

7.1.1 

DOM模型 175

7.1.2 

正则表达式 178

7.2  网络爬虫 181

7.2.1 

网络爬虫简介 181

7.2.2 

网络爬虫异常处理 189

7.3  行为日志采集 190

7.3.1 

用户实时行为数据采集 190

7.3.2 

用户实时行为数据分析 193

7.4  上机练习与实训 195

7.5  习题 198

第8章  清洗RDBMS数据实例 199

8.1  准备工作 199

8.1.1 

准备待清洗的数据集 200

8.1.2 

搭建操作环境 200

8.1.3 

数据导入MySQL 201

8.2  数据库数据清洗 205

8.2.1 

缺失值清洗 205

8.2.2 

格式内容清洗 209

8.2.3 

逻辑错误清洗 214

8.2.4 

非需求数据清洗 217

8.3  数据脱敏处理 218

8.4  习题 222

参考文献 223

附录A  大数据和人工智能实验环境

224

附录B  Hadoop环境要求 234

附录C  名词解释 236