【现货速发】Hadoop大数据开发技术

随着大数据时代的到来，许多企业和组织都越来越重视大数据技术，尤其是我国已将大数据技术上升到国家战略层面，更多的企业都在大数据技术的平台建设、解决方案等领域花费了很多精力开展研究，并加大人才培养的力度。
广东轩辕网络科技股份有限公司近几年致力于云计算、大数据领域的服务研究，并在云计算、大数据等领域积极与高校开展产学研合作，进行协同育人工作，并取得了较好的成效。该公司在充分调研市场的基础上组织专家进行充分论证，提出了“数据科学与大数据技术”应用型本科人才培养方案，并将培养目标明确定位为: 掌握数据科学的基础知识、理论及技术，包括面向大数据应用的数学、统计、计算机等学科基础知识，数据建模、高效分析与处理，统计学推断的基本理论、基本方法和基本技能。重点培养具有以下三方面素质的人才: 一是工具的掌握，掌握数据采集和数据分析的基本工具的使用；二是数据分析能力，拥有实用数据分析和初步数据建模能力；三是应用性，主要是利用大数据的方法解决实际问题的能力。
在此基础上设计了专业课程体系，将“Hadoop大数据开发技术”定位为一门重要的专业选修课。本课程的目标是: 依据业务或产品应用需求，运用大数据平台及相关组件进行技术开发，搭建大数据应用平台以及开发应用程序。学习本书的内容后，读者应掌握Hadoop数据操作的API（主要是Java API），熟悉大数据的分析和使用方法（Spark和MapReduce技术），搭建大数据应用平台以及开发应用程序，熟悉工具、算法、编程、优化以及部署不同的MapReduce，研发各种基于大数据技术的应用程序及行业解决方案。
编者在研究了现有大数据开发以及Hadoop平台资料的基础上，展开了本书的编写工作。本书首先介绍相关平台的构建。Hadoop是基于Linux平台运行的，因此本书首先介绍Linux操作系统和Hadoop平台的搭建方法。然后，本书根据Hadoop系统的组成及生态，分别介绍HDFS、MapReduce、YARN、Spark、HBase、Hive等技术。由于在Hadoop应用中shell命令十分重要，API编程是重点和难点，因此每部分都通过具体案例讲述shell命令的应用方法，通过实例介绍相关技术的编程方法。后，本书介绍大数据应用开发综合实例。
本书分为三篇: 第1篇(第1～6章)主要介绍大数据开发技术平台Hadoop，分为6章介绍Hadoop各部分的主要技术及其应用，包括Hadoop架构及组成、平台搭建、HDFS、YARN、MapReduce等内容；第2篇(第7～9章)介绍Hadoop家族的其他几个重要项目，这些都与基本的大数据开发应用紧密相关，包括数据库HBase、数据仓库Hive、快速通用计算引擎Spark；第3篇(第10～12章)介绍大数据应用开发综合实例，包括编程环境与数据准备、大数据分析与数据可视化、“电影推荐”的具体实施方法。
本书由广东科技学院申时全教授和东莞理工学院城市学院陈强副教授负责统稿并担任主编，由杨胜利、黎学军、姜荣正、邱林润老师担任副主编，并承担部分章节的编写工作。其中，第1～3章由申时全编写，第4章和第9章由黎学军编写，第5章和第6章由杨胜利编写，第7章和第8章由陈强编写，第10～12章由邱林润和姜荣正编写。
在本书的编写过程中，得到了广东轩辕网络科技股份有限公司和本丛书编委会专家的大力支持。厦门大学林子雨老师担任主审，并对本书的编写提出了许多很好的建议，在此深表感谢。

编者2020年10月

本书较为全面地介绍了大数据开发技术平台Hadoop及其生态系统的相关知识。全书共12章，包括Hadoop概述、大数据开发平台Hadoop环境的搭建、Hadoop通用命令与编程原理、Hadoop分布式文件存储HDFS、作业调度与集群资源管理框架YARN、Hadoop分布式计算框架MapReduce、Hadoop数据库HBase、Hadoop数据仓库Hive、Hadoop数据的快速通用计算引擎Spark，以及大数据应用开发综合实例。本书从应用角度出发，重点培养学生应用大数据技术平台Hadoop解决实际问题的能力。 本书内容新颖，简明易懂，可操作性强，可作为普通高等学校、高职高专院校数据科学与大数据、软件工程等计算机相关专业和信息管理类专业“大数据开发技术”课程的教材，也可作为大数据技术培训的教材，还适合大数据技术研发人员和广大计算机爱好者自学使用。

申时全，1953年6月生，贵州毕节人，本科学历，学士学位，教授， CNCIW认证软件开发高级工程师。广东科技学院计算机系网络工程专业负责人。
讲授课程：计算机网络、Linux原理与应用、C语言程序设计、操作系统原理、统一建模语言UML、Linux编程、Java语言程序设计。

第1篇大数据开发技术平台Hadoop

第1章Hadoop概述3

1.1大数据与Hadoop3

1.1.1大数据概述4

1.1.2什么是Hadoop6

1.1.3大数据与Hadoop的关系6

1.2Hadoop的发展历史7

1.2.1Hadoop的产生7

1.2.2Hadoop的发展阶段7

1.3Hadoop的体系结构8

1.3.1Hadoop的Common8

1.3.2Hadoop的HDFS9

1.3.3Hadoop的YARN10

1.3.4Hadoop的MapReduce10

1.3.5Hadoop家族的其他成员11

1.4本章小结12

习题12

第2章大数据开发平台Hadoop环境的搭建13

2.1Linux系统下的参数配置13

2.1.1Linux系统的网络配置13

2.1.2为Hadoop设置专门用户15

2.1.3设置无密码登录用户16

2.2基于Linux系统的JDK安装与配置17

2.2.1Java开发工具JDK的下载与安装17

2.2.2配置与Java有关的环境参数17

2.2.3基于Linux系统下Eclipse的安装与配置19

2.2.4Eclipse集成环境——Java程序开发实例23

2.3Hadoop环境的搭建24

2.3.1单机模式25

2.3.2伪集群模式26

2.3.3集群模式32

2.4Hadoop服务的启动与测试38

2.5本章小结38

习题38

第3章Hadoop通用命令与应用编程原理39

3.1Hadoop命令概述39

3.2Hadoop管理命令41

3.2.1命令功能与命令格式41

3.2.2命令应用实例41

3.3Hadoop用户命令42

3.3.1建立与查看Hadoop的文档42

3.3.2检查Hadoop本地代码可用性44

3.3.3classpath命令44

3.3.4credential命令44

3.3.5递归复制文件和目录命令distcp46

3.3.6Hadoop的fs命令47

3.3.7Hadoop的jar命令47

3.3.8Hadoop的key命令47

3.3.9Hadoop的其他用户命令48

3.4Hadoop编程原理49

3.4.1创建Java应用项目49

3.4.2Hadoop分布式处理程序的设计原理53

3.5Hadoop编程实例53

3.5.1问题描述53

3.5.2求值的Hadoop程序设计54

3.6本章小结57

习题57

第4章Hadoop分布式文件存储58

4.1HDFS概述58

4.1.1HDFS的特点59

4.1.2HDFS的架构59

4.1.3熟悉HDFS守护进程61

4.1.4HDFS的规划设计64

4.2HDFS 的shell命令66

4.2.1HDFS 的shell命令概述66

4.2.2管理命令67

4.2.3客户端命令68

4.2.4HDFS的守护进程命令73

4.3HDFS的API编程应用74

4.3.1一个简单的HDFS API编程实例74

4.3.2HDFS的应用编程接口76

4.3.3HDFS的编程应用实例80

4.4本章小结84

习题84

第5章作业调度与集群资源管理框架YARN86

5.1YARN概述86

5.1.1YARN简介86

5.1.2YARN的主要架构87

5.1.3YARN架构简析89

5.2YARN的命令及应用89

5.2.1YARN命令概述89

5.2.2用户命令90

5.2.3管理员命令95

5.3YARN的API应用编程98

5.3.1YARN工作流程98

5.3.2YARN编程概述99

5.3.3YARN Client程序编写100

5.3.4YARN AppicationMaster编写101

5.3.5YARN Container工作程序104

5.4本章小结104

习题104

第6章Hadoop分布式计算框架MapReduce105

6.1MapReduce结构模型105

6.1.1MapReduce概述105

6.1.2Map和Reduce(映射和规约)106

6.1.3MapReduce的主要功能及技术特征106

6.2MapReduce的工作原理109

6.2.1Shuffle和Sort109

6.2.2任务的执行113

6.2.3故障处理116

6.2.4作业调度118

6.3MapReduce的命令行应用121

6.3.1命令概述121

6.3.2用户命令121

6.3.3管理命令124

6.4MapReduce的API应用编程125

6.4.1与数据输入有关的类125

6.4.2Mapper/Reducer类129

6.4.3Job类及相关类131

6.4.4输出格式类与记录输出类135

6.5MapReduce应用实例135

6.5.1单词计数程序设计135

6.5.2计算平均成绩的程序设计138

6.6本章小结140

习题140

第2篇Hadoop家族的其他项目

第7章Hadoop数据库HBase145

7.1HBase概述145

7.1.1HBase简介145

7.1.2HBase的特点146

7.2HBase体系结构147

7.3HBase的数据模型148

7.3.1逻辑模型148

7.3.2物理模型150

7.4HBase的下载与安装150

7.4.1HBase的下载150

7.4.2HBase的安装151

7.5HBase shell154

7.5.1通用命令155

7.5.2数据定义语言155

7.5.3数据操作语言159

7.6HBase API164

7.6.1HBaseAdmin类164

7.6.2HTable类165

7.6.3HTableDescriptor类165

7.6.4HColumnDescriptor类166

7.6.5Get类166

7.6.6Put类166

7.6.7Delete类167

7.6.8Result类168

7.6.9ResultScanner类168

7.7HBase过滤器179

7.7.1过滤器Filter179

7.7.2过滤器的操作符179

7.7.3过滤器的比较器Comparator180

7.7.4过滤器的使用180

7.8本章小结184

习题184

第8章Hadoop数据仓库Hive186

8.1Hive概述186

8.1.1Hive简介186

8.1.2Hive架构186

8.1.3Hive的安装187

8.2Hive数据类型192

8.2.1基本类型192

8.2.2复杂类型193

8.3Hive的数据模型194

8.3.1内部表194

8.3.2外部表194

8.3.3分区表194

8.3.4桶表194

8.3.5视图表195

8.4Hive内置运算符195

8.4.1关系运算符195

8.4.2算术运算符196

8.4.3逻辑运算符196

8.4.4复杂运算符197

8.5Hive shell操作197

8.5.1数据库操作197

8.5.2表操作198

8.6Hive的内置函数和UDF199

8.6.1内置函数199

8.6.2用户自定义函数200

8.7本章小结201

习题201

第9章Hadoop数据的快速通用计算引擎Spark204

9.1Spark概述204

9.1.1理解Spark206

9.1.2安装Spark 206

9.2快速启动Spark209

9.3Spark生态圈213

9.4Spark编程217

9.4.1Structured Streaming编程217

9.4.2Spark Streaming编程218

9.4.3机器学习库和GraphX编程220

9.5本章小结223

习题223

第3篇大数据应用开发综合实例

第10章编程环境与数据集准备227

10.1Zeppelin部署227

10.1.1Zeppelin安装227

10.1.2Zeppelin配置228

10.1.3运行Zeppelin231

10.1.4连接测试Zeppelin231

10.1.5用admin身份权限登录232

10.2Zeppelin UI233

10.2.1首页233

10.2.2菜单234

10.2.3笔记237

10.2.4Zeppelin配置中的典型错误240

10.3获取MovieLens数据集242

10.4本章小结246

习题246

第11章大数据分析与数据可视化247

11.1数据处理247

11.1.1创建笔记247

11.1.2数据处理案例248

11.2数据分析与可视化252

11.2.1注册临时表users252

11.2.2浏览users252

11.2.3统计年龄分布253

11.2.4统计职业分布255

11.3复杂逻辑处理257

11.3.1评分统计分析257

11.3.2评分分布的条形图259

11.4本章小结260

习题260

第12章构建推荐算法261

12.1协同过滤算法概述261

12.2协同过滤分类261

12.2.1基于用户的协同过滤262

12.2.2基于物品的协同过滤262

12.3Spark推荐模型库263

12.3.1显式矩阵分解263

12.3.2隐式矩阵分解264

12.3.3交替小二乘法264

12.4用Spark MLlib ALS构建推荐算法265

12.4.1获取ml1m.zip文件265

12.4.2创建RDD265

12.4.3创建DataFrame265

12.4.4构建训练和测试数据集267

12.4.5构建模型268

12.4.6使用推荐模型预测269

12.4.7用测试数据对模型进行评估269

12.4.8衡量模型的准确度270

12.5本章小结271

习题271

本书较为全面地介绍了大数据开发技术平台Hadoop及其生态系统的相关知识。全书共12章，包括Hadoop概述、大数据开发平台Hadoop环境的搭建、Hadoop通用命令与编程原理、Hadoop分布式文件存储HDFS、作业调度与集群资源管理框架YARN、Hadoop分布式计算框架MapReduce、Hadoop数据库HBase、Hadoop数据仓库Hive、Hadoop数据的快速通用计算引擎Spark，以及大数据应用开发综合实例。本书从应用角度出发，重点培养学生应用大数据技术平台Hadoop解决实际问题的能力。 本书内容新颖，简明易懂，可操作性强，可作为普通高等学校、高职高专院校数据科学与大数据、软件工程等计算机相关专业和信息管理类专业“大数据开发技术”课程的教材，也可作为大数据技术培训的教材，还适合大数据技术研发人员和广大计算机爱好者自学使用。

申时全，1953年6月生，贵州毕节人，本科学历，学士学位，教授， CNCIW认证软件开发高级工程师。广东科技学院计算机系网络工程专业负责人。
讲授课程：计算机网络、Linux原理与应用、C语言程序设计、操作系统原理、统一建模语言UML、Linux编程、Java语言程序设计。