大数据采集与预处理技术（HDFS+HBase+Hive+Python）（微课视频版）

图书标准信息

• 作者 唐世伟 田枫 盖璇 李学贵
• 出版社 清华大学出版社
• 出版时间 2022-09
• 版次 1
• ISBN 9787302612247
• 定价 59.90元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 288页
• 字数 419千字

【内容简介】

本书主要介绍大数据关键技术中的大数据采集和数据预处理技术，是大数据专业的入门级的专业基础课教程（含教学课件、源代码与视频教程），旨在为学生搭建起大数据的知识架构，讲述大数据采集和数据预处理的基本原理，开展相关的实验，为学生在大数据以及相关领域的学习奠定坚实的基础。全书共分四部分：第一部分是理论基础（第1~2章和第6章），主要介绍大数据技术、大数据采集和大数据预处理的基本概念以及基础理论；第二部分是大数据采集（第3~5章），分别介绍3种大数据的采集方法、技术及4种工具；第三部分是大数据预处理（第7~8章），介绍4种大数据预处理技术、方法；第四部分是实验指导（第9~11章），介绍大数据采集和大数据预处理的实验平台以及具体实验的内容、方法、流程等。 为便于读者高效学习，快速掌握大数据专业基础知识。作者精心制作了完整的教学课件（11章PPT）与部分配套视频教程（200分钟）。本书可以作为高等院校计算机、电子信息、信息管理、软件工程等专业，尤其大数据相关专业的本科和硕士研究生教材或参考书。

【目录】

第1章概述

1.1大数据基础

1.1.1大数据的定义与特征

1.1.2我国的大数据发展及趋势

1.1.3大数据的应用

1.1.4大数据的层次架构

1.2大数据技术

1.2.1大数据关键技术

1.2.2大数据支撑技术

1.3大数据的影响及思维方式

1.3.1大数据的影响

1.3.2大数据的思维方式

1.4大数据伦理及安全

1.4.1大数据伦理

1.4.2大数据安全

1.5本章小结

习题

第2章大数据采集技术基础

2.1传统数据采集技术

2.1.1传统数据采集及特点

2.1.2传统数据采集的硬件与软件

2.1.3传统数据采集的关键技术

2.2大数据采集基础

2.2.1大数据采集的概念

2.2.2大数据采集的要点

2.2.3大数据的来源

2.2.4大数据采集的基本方法

2.3大数据分布式文件系统

2.3.1数据管理技术的发展

2.3.2HDFS概述

2.3.3HDFS特点

2.3.4HDFS工作原理

2.3.5HDFS的读/写数据流程

2.4分布式数据库系统HBase

2.4.1分布式关系数据库系统的缺陷

2.4.2HBase简介

2.4.3HBase的数据模型关键要素

2.4.4HBase的体系结构

2.5大数据分布式数据仓库

2.5.1数据仓库的特点

2.5.2Hive的内部架构

2.5.3Hive的数据组织

2.6本章小结

习题

 

 

第3章系统日志数据采集

3.1系统日志数据采集概述

3.1.1系统日志分类

3.1.2日志分析应用场景

3.1.3系统日志收集方法

3.2Flume数据采集

3.2.1Flume效益

3.2.2Flume整体结构

3.2.3Flume的核心部件Agent

3.2.4Flume运行机构

3.3Scribe数据采集

3.3.1Scribe的功能

3.3.2Scribe的架构

3.3.3Scribe的流程

3.3.4Scribe存储类型

3.4Event Log Analyzer数据采集

3.4.1Event Log Analyzer特点

3.4.2Event Log Analyzer主要功能

3.4.3Event Log Analyzer的可视化用户界面

3.5基于Log Parser的数据采集

3.5.1Log Parser组成部分

3.5.2Log Parser Lizard软件功能

3.5.3Log Parser Lizard软件特色

3.6本章小结

习题

第4章大数据迁移

4.1数据迁移基础

4.1.1大数据迁移的需求

4.1.2大数据迁移的风险

4.1.3大数据迁移的流程

4.1.4大数据迁移任务类型

4.2数据迁移相关技术

4.2.1基于存储的数据迁移

4.2.2基于主机逻辑卷的数据迁移

4.2.3基于数据库的数据迁移

4.2.4基于服务器虚拟化的数据迁移

4.3大数据迁移工具Sqoop

4.3.1Sqoop概述

4.3.2Sqoop的数据导入

4.3.3Sqoop的数据导出

4.4ETL数据迁移技术

4.4.1ETL概述

4.4.2ETL的实现模式

4.4.3ETL工具

4.5本章小结

习题

第5章互联网数据采集

5.1网络爬虫概述

5.1.1网络爬虫的基本概念

5.1.2网络爬虫的爬行策略

5.1.3Web更新策略

5.1.4robots协议

5.2网络爬虫方法

5.2.1按功能分类的网络爬虫

5.2.2通用网络爬虫

5.2.3焦点网络爬虫

5.2.4Deep Web爬虫

5.2.5分布式网络爬虫

5.3网络爬虫工具

5.3.1ParseHub

5.3.2Web Scraper

5.3.3后羿采集器

5.3.4八爪鱼收集器

5.4Python爬虫技术

5.4.1Python爬行器基础知识

5.4.2反爬虫与反爬虫技术

5.5本章小结

习题

第6章数据预处理基础

6.1数据的描述

6.1.1数据对象与属性类型

6.1.2数据的统计描述

6.1.3数据矩阵与相似（相异）矩阵

6.2相似性或相异性度量方法

6.2.1标称属性相似性或相异性的度量

6.2.2二元属性相似性或相异性的度量

6.2.3数值属性相似性或相异性的度量

6.2.4文档相似性和相异性的度量

6.3大数据质量

6.3.1常见的数据质量问题

6.3.2大数据质量标准 

6.4本章小结

习题

第7章数据清洗与集成

7.1数据清洗基础

7.1.1数据清洗的任务

7.1.2数据清洗的前期准备

7.1.3数据清洗的一般性系统框架

7.2数据清洗技术

7.2.1缺失值处理

7.2.2光滑噪声数据处理

7.2.3检测偏差与纠正偏差

7.3数据集成基础

7.3.1数据集成的难点

7.3.2数据集成的方式

7.4数据集成技术

7.4.1模式识别和对象匹配

7.4.2冗余处理

7.4.3数据值冲突的检测与处理

7.5本章小结

习题

第8章数据归约与变换

8.1数据归约基础

8.1.1数据归约策略

8.1.2数据归约算法的特点

8.1.3数据归约的一般方法

8.2数据归约技术

8.2.1小波变换

8.2.2主成分分析

8.2.3属性子集选择

8.2.4回归和对数线性模型

8.2.5直方图

8.2.6数据立方体聚集

8.3数据变换基础

8.3.1数据变换内容

8.3.2数据变换的意义

8.4数据变换技术

8.4.1规范化变换

8.4.2离散化变换

8.4.3标称数据的概念层次变换

8.5本章小结

习题

第9章大数据采集实验

9.1实验1基于EventLog Analyzer的日志分析

9.2实验2基于Log Parser的日志处理

9.3实验3基于八爪鱼采集器的网络信息爬取

9.4实验4了解和使用Python和requests库

9.5实验5使用PyCharm编写requests库爬虫

9.6实验6使用PyCharm编写BeautifulSoup库爬虫

9.7本章小结

第10章大数据预处理实验

10.1实验1启动、了解SaCa大数据实验平台

10.2实验2使用SaCa大数据实验平台分析数据

10.3实验3大数据预处理基础——数据集成

10.4实验4缺失值填充

10.5实验5数据规范化

10.6实验6连续特征离散化

10.7实验7主成分分析

10.8实验8相关性特征选择

10.9本章小结

第11章大数据采集与预处理应用案例

11.1基于Pandas图书数据分析处理

11.1.1案例意义

11.1.2Pandas库

11.1.3图书数据采集

11.1.4数据预处理及分析

11.2石油数据预处理系统

11.2.1石油数据预处理系统需求

11.2.2石油数据预处理系统流程

11.2.3石油数据预处理算法

11.2.4实验数据预处理结果分析

11.3电影票房预测数据分析处理

11.3.1案例意义

11.3.2数据处理流程

11.3.3数据采集和分析

11.3.4数据处理和预测

参考文献