Hadoop+HBase技术项目教程

图书标准信息

• 作者 张立辉 李明革
• 出版社 机械工业出版社
• 出版时间 2022-06
• 版次 1
• ISBN 9787111705239
• 定价 59.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 228页
• 字数 351千字

【内容简介】

本书详细介绍了大数据技术中的Hadoop 集群部署、MapReduce、Hive和HBase 等的基本知识和应用，本书采用了大量案例，可以更好地帮助读者学习和理解大数据的核心技术。
  本书从实用的角度出发，设计了9 个项目，从虚拟机安装入手，结合实际工作中的典型项目和案例，全面介绍了Hadoop 集群部署、HDFS、MapReduce 编程、Hive、HBase 和Sqoop 的相关知识和基本操作。
  本书围绕Linux 操作系统和Hadoop 集群部署，按照初学者的思维习惯，循序渐进地设计和安排学习内容，采用将基础知识融入项目教学的方式，在完成项目学习的同时，实现从理论知识到能力的转化，帮助学习者牢固掌握Hadoop 集群部署等相关知识的实践技能。
  本书适合作为职业类院校计算机、大数据等相关专业的教材，也适用于计算机培训班教学，以及有构建大数据知识体系需求的读者学习。

【作者简介】

张立辉，2003年毕业于吉林工程技术师范学院计算机科学与技术专业，发表核心论文一篇，论文10余篇，主持和参与课题5个，指导学生参加吉林省大数据比赛多次获得一等奖，实用新型专利3个，软件著作权4个。带领团队参与公司实际项目3个以上。

【目录】

目录

前言

项目1 Hadoop 安装

1.1 大数据认知

1.1.1 大数据是什么

1.1.2 大数据应用领域

1.1.3 大数据的特点

1.1.4 大数据的技术架构

1.2 Hadoop 认知

1.2.1 Hadoop 起源

1.2.2 Hadoop 的特点

1.2.3 Hadoop 生态圈

1.2.4 Hadoop 核心架构

项目实现

任务1 安装前准备

任务2 虚拟机的安装

任务3 Ubuntu 的安装

任务4 解压与压缩命令

任务5 JDK 安装和配置

任务6 Hadoop 的安装

拓展项目

课后练习

项目2 Hadoop 集群部署

2.1 Linux 环境设置

2.1.1 Linux 常用命令

2.1.2 用户（组）创建

2.1.3 FileZilla 文件传输

2.1.4 apt 更新

2.1.5 vim 编辑器的应用

2.1.6 网络配置

2.2 Hadoop 配置文件

2.2.1 环境变量的配置

2.2.2 SSH 安装

2.2.3 core-site.xml 配置文件

2.2.4 hdfs-site.xml 配置文件

2.2.5 Hadoop 伪分布式运行实例

2.3 YARN 认知

2.3.1 初识YARN

2.3.2 YARN 基本服务组件

2.3.3 YARN 执行过程

项目实现

任务1 部署前准备

任务2 集群网络配置

任务3 配置文件的设置

任务4 集群部署

拓展项目

课后练习

项目3 HDFS-电影信息管理

3.1 HDFS 认知

3.1.1 HDFS 简介

3.1.2 HDFS 特点

3.1.3 HDFS 设计原则

3.1.4 HDFS 核心概念

3.2 HDFS 常用Shell 命令和基础编程开发

3.2.1 HDFS 常用Shell 命令

3.2.2 用HDFS API 实现上传本地文件

3.2.3 用HDFS API 实现创建HDFS 文件

3.2.4 用HDFS API 实现读取和写入文件

3.2.5 用HDFS API 实现创建HDFS 目录

3.2.6 用HDFS API 实现查找文件所在位置

3.3 HDFS 工作机制

3.3.1 HDFS 写数据流程

3.3.2 HDFS 读数据流程

3.3.3 NameNode 工作机制

3.3.4 DataNode 工作机制

项目实现

任务1 环境搭建

任务2 写入电影信息

任务3 读取电影信息

拓展项目

课后练习

项目4 用MapReduce 统计网站最大访问次数

4.1 MapReduce 认知

4.1.1 MapReduce 的由来

4.1.2 MapReduce 的执行过程

4.1.3 Mapper 过程

4.1.4 Reduce 过程

4.1.5 Shuffle 过程

4.2 MapReduce 程序开发

4.2.1 IDEA 安装

4.2.2 MapReduce 输入/输出类型

4.2.3 MapReduce 输入处理类

4.2.4 MapReduce 输出处理类

4.2.5 典型案例：WordCount

项目实现

任务1 POJO 类编写

任务2 Map 网站访问数据

任务3 Reduce 网站访问数据

任务4 项目驱动类编写

拓展项目

课后练习

项目5 用MapReduce 实现课程名称和成绩的二次排序

5.1 MapReduce 高级开发一

5.1.1 Combiner 合并编程

5.1.2 Partitioner 分区编程

5.1.3 RecordReader 编程

5.2 MapReduce 高级开发二

5.2.1 MapReduce 连接操作

5.2.2 MapReduce 排序操作

5.2.3 MapReduce 多文件联合查询

项目实现

任务1 POJO 类编写

任务2 Map 课程和成绩数据

任务3 Reduce 课程和成绩数据

任务4 项目驱动类编写

拓展项目

课后练习

项目6 用Hive 实现购物用户数据清洗

6.1 Hive 认知

6.1.1 Hive 简介

6.1.2 Hive 体系结构

6.1.3 Hive 设计特征

6.2 Hive 安装

6.2.1 伪分布式安装与配置Hive

6.2.2 安装与配置MySQL

6.3 Hive 基本操作

6.3.1 Hive 数据类型

6.3.2 数据库操作

6.3.3 内部表操作

6.3.4 外部表操作

6.3.5 分区表操作

6.3.6 分桶表操作

6.3.7 Hive 数据操作

项目实现

任务1 导入数据

任务2 数据分析

任务3 数据导出

拓展项目

课后练习

项目7 用HBase 实现学生成绩管理

7.1 HBase 认知

7.1.1 HBase 简介

7.1.2 HBase 体系结构

7.1.3 HBase 写数据流程

7.1.4 HBase 读数据流程

7.2 HBase 安装

7.2.1 下载软件

7.2.2 伪分布式安装与配置

7.3 HBase shell 操作命令

7.3.1 HBase 数据模型

7.3.2 数据表空间操作

7.3.3 数据表操作

7.3.4 数据操作

7.4 HBase API 操作

7.4.1 HBase 常用的API

7.4.2 Configuration 对象

7.4.3 HTable 句柄创建

7.4.4 HBase 数据的CRUD 操作

项目实现

任务1 学生成绩表数据准备

任务2 学生成绩表设计分析

任务3 学生成绩表代码实现

拓展项目

课后练习

项目8 Sqoop 导入导出

8.1 概述

8.1.1 Sqoop 产生背景

8.1.2 Sqoop 是什么

8.1.3 为什么选择 Sqoop 

8.2 工作原理

8.2.1 导入机制

8.2.2 导出机制

8.3 安装

8.4 Sqoop 的基本命令

8.4.1 基本操作

8.4.2 示例

项目实现

任务1 从RDBMS 导入到HDFS 

任务2 从MySQL 导入到Hive

任务3 从MySQL 导入到HBase

课后练习

Hadoop 综合实例—网络交易数据统计

9.1 项目概述

9.1.1 项目实现的思路

9.1.2 项目流程

9.2 准备工作

9.2.1 项目环境的搭建

9.2.2 Hadoop+HBase+Hive 集成

9.2.3 HBase 数据库设计原则

9.2.4 数据概况

项目实现

项目9

任务1 POJO 类编写

任务2 统计不同品牌手机的销售数量

任务3 统计不同品牌手机销量和销售额占比

任务4 统计某年每个月的手机销售数量的比例

任务5 统计每个月份各市区县的手机销售数量

任务6 统计购买手机的男女比例

任务7 统计不同手机品牌购买用户的年龄区间人数

课后练习