大数据技术应用 9787121401619

序

国务院2019年1月印发的《国家职业教育改革实施方案》明确提出，从2019年开始，在职业院校、应用型本科高校启动“学历证书 若干职业技能等级证书”制度试点（即“1 X”证书制度试点）工作。职业技能等级证书，是职业技能水平的凭证，反映职业活动和个人职业生涯发展所需要的综合能力。
“1 X”证书制度的实施，有赖于教育行政主管部门、行业企业、培训评价组织和职业院校等多方力量的整合。培训评价组织是其中不可忽视的重要参与者，是职业技能等级证书及标准建设的主体，对证书质量、声誉负总责，主要职责包括标准开发、教材和学习资源开发、考核站点建设、考核颁证等，并协助试点院校实施证书培训。
截至2020年9月，分三批共遴选了73家培训评价组织，国信蓝桥教育科技（北京）股份有限公司（下称“国信蓝桥”）便是其中一家。国信蓝桥在信息技术领域和人才培养领域具有丰富的经验，其运营的“蓝桥杯”大赛已成为国内领先、国际知名的IT赛事，其蓝桥学院已为IT行业输送了数以万计的优秀工程师，其在线学习平台深受院校师生和IT人士的喜爱。
国信蓝桥在广泛调研企事业用人单位需求的基础上，在相关部门指导下制定了“1 X”《大数据应用开发（Java）职业技能等级标准》。该标准面向信息技术领域、大数据公司、互联网公司、软件开发公司、软件运维公司、软件营销公司等IT类公司、企事业单位的信息管理与服务部门，面向大数据应用系统开发、大数据应用平台建设、大数据应用程序性能优化、海量数据管理、大数据应用产品测试、技术支持与服务等岗位，规定了工作领域、工作任务及职业技能要求。
本丛书直接服务于职业技能等级标准下的技能培养和证书考取需要，包括7本教材：
?《Java程序设计基础教程》
?《Java程序设计高级教程》
?《软件测试技术》
?《数据库技术应用》
?《Java Web应用开发》
?《Java开源框架企业级应用》
?《大数据技术应用》
目前，开展“1 X”试点、推进书证融通已成为院校特别是“双高”院校人才培养模式改革的重点。所谓书证融通，就是将“X”证书的要求融入学历证书这个“1”里面去，换言之，在人才培养方案的设计和实施中应包含对接“X”证书的课程。因此，选取本丛书的全部或部分作为专业课程教材，将有助于夯实学生基础，无缝对接“X”证书的考取和职业技能的提升。
为使教学活动更有效率，在线上、线下深度融合教学理念指引下，丛书编委会为本丛书配备了丰富的线上学习资源。资源访问地址为https://www.lanqiao.cn/oneplusx/。
后，感谢、行业企业及院校的大力支持！感谢丛书编委会全体同人的辛苦付出！感谢为本丛书出版付出努力的所有人！

郑  未   
2020年12月

前言

大数据技术起源于Google在2004年前后发表的几篇论文，而Hadoop初则是Google大数据技术的开源版本。经过十多年的高速发展，以Hadoop为代表的大数据技术已经比较成熟。基于大数据生态系统，可以构建实时计算、离线计算、NoSQL存储、数据分析、机器学习等一系列新时期的核心技术流程。
大数据具有容量大、种类多、速度快、含有价值等特点，包括结构化、半结构化和非结构化数据。其中，非结构化数据越来越成为数据的主要部分，应用非常广泛，涉及多个行业，如零售行业的精准营销与、金融行业的风控、医疗行业的智能辅助决策、教育行业的个性化教育以及智慧城市等。
当今社会高速发展、科技发达、信息畅通，人们之间的交流越来越密切，生活也越来越方便，各种智能设备日新月异，这些都需要大数据技术的支撑。阿里巴巴集团创始人马云曾说，未来的时代将不是IT时代，而是DT的时代，DT就是Data Technology（数据科技），表明大数据对于阿里巴巴集团来说举足轻重。
2015年8月，国务院印发《促进大数据发展行动纲要》，系统部署大数据发展工作。《促进大数据发展行动纲要》要求立足我国国情和现实需要，推动大数据发展和应用在未来5～10年逐步实现以下目标：打造精准治理、多方协作的社会治理新模式，建立运行平稳、安全高效的经济运行新机制，构建以人为本、惠及全民的民生服务新体系，开启大众创业、万众创新的创新驱动新格局，培育高端智能、新兴繁荣的产业发展新生态。
大数据技术自诞生以来就得到了广泛重视，目前已得到广泛应用，并拥有光明的发展前景。
本书是“大数据应用开发（Java）”1 X职业技能等级证书配套教材，同时也是蓝桥学院“Java全栈工程师”培养项目配套教材，主要介绍大数据编程、数据分析及环境维护的相关内容。为了帮助读者切实掌握书中讲解的内容，蓝桥学院搭建并部署了蓝桥云平台，在云平台中提供配套的实验环境、图文教程和视频课程，书中涉及的所有案例都可以在蓝桥云平台上实现。
全书共16章，第1章和第2章讲解大数据的发展史，大数据的概念、特征与价值，大数据的技术架构，Hadoop生态圈，Hadoop集群安装部署等知识；第3章～第5章讲解Hadoop的3个重要组件—HDFS、MapReduce和YARN，读者需重点掌握它们的工作机制及MapReduce编程；第6章讲解ZooKeeper的核心机制、应用场景和客户端操作；第7章讲解Hive数据仓库的数据类型、文件格式、内置函数与DDL/DML操作，读者需重点掌握DDL/DML操作；第8章讲解Flume的安装部署与数据采集；第9章讲解Azkaban的安装部署与使用，读者需了解其任务调度功能；第10章讲解Sqoop的导入/导出，读者需重点掌握Sqoop的导入/导出命令；第11章讲解HBase的体系架构、数据模型、运行机制和实战编程，读者需重点掌握Java API操作；第12章讲解Kafka架构机制与实战编程，读者需重点掌握其Java API操作；第13章讲解Spark的体系架构、Spark RDD、Spark SQL、Spark Streaming，读者需重点掌握Spark RDD和Spark Streaming；第14章讲解大数据平台的几个监控工具，读者需了解JMX的使用；第15章和第16章讲解大数据离线计算和实时计算的流程及其实战，读者需熟练掌握每一步操作。
本书由郑未和唐友钢两位老师合作编写。郑未老师编写了本书的第1章～第9章，唐友钢老师编写了本书的第10章～第16章以及整理了附录A。郑未老师是“大数据应用开发（Java）职业技能等级标准”的主要制定者和起草人，是蓝桥杯大赛技术专家，拥有丰富的信息系统开发、管理经验，以及丰富的职业教育教学和管理经验。唐友钢老师是全栈工程师，从事过互联网行业Java前/后端开发、大数据分析、数据挖掘、机器学习等岗位，现专注于各行业大数据的分析、挖掘技术，并关注AI技术的切入与落地。
感谢丛书编委会各位专家、学者及老师的指导；感谢配合调研的企业及已毕业的同学；感谢蓝桥学院各位同事对本书相关工作的帮助和支持；感谢电子工业出版社编辑对本书的编审校工作。另外，本书参考借鉴了一些专著、教材、论文、报告和网络上的成果、素材、结论或图文，在此一并向原创作者表示衷心的感谢。
期望本书的出版发行能够为计算机相关专业的大学生、程序员和广大编程爱好者起到快速入门的作用，也期望越来越多的人才加入大数据技术领域，为我国信息化前沿技术的发展做出贡献。
由于时间仓促，编者水平有限，疏漏和不足之处在所难免，恳请广大读者和社会各界朋友批评指正！
编者联系邮箱：x@lanqiao.org

编  者

本书是"大数据应用开发（Java）”1 X职业技能等级证书配套教材，同时也是蓝桥学院"Java全栈工程师”培养项目配套教材。全书共16章，包括大数据概述、Hadoop、HDFS、MapReduce、YARN、ZooKeeper、Hive、Flume、Azkaban、Sqoop、HBase、Kafka、Spark、大数据平台的管理与监控、大数据离线计算项目和大数据实时计算项目。本书从零基础开始逐一讲解大数据体系中的各种技术，通过丰富的实战案例阐述重点、难点知识，为初学者进入大数据领域打好基础。各章节设计合理，在每章开头设置本章简介，在知识点介绍后紧跟实践操作，在每章的末尾对重要内容进行了概括性回顾并通过练习帮助读者巩固相关知识。本书配套资源丰富，在蓝桥在线学习平台（www.lanqiao.cn/oneplusx/）上汇集了微课、实验等多种学习资源。 本书直接服务于"大数据应用开发（Java）”1 X职业技能等级证书工作，可作为职业院校、应用型本科院校的计算机应用技术、软件技术、软件工程、网络工程和大数据应用技术等计算机类专业的教材，也可供从事计算机相关工作的技术人员参考。

本书是"大数据应用开发（Java）”1 X职业技能等级证书配套教材，同时也是蓝桥学院"Java全栈工程师”培养项目配套教材。全书共16章，包括大数据概述、Hadoop、HDFS、MapReduce、YARN、ZooKeeper、Hive、Flume、Azkaban、Sqoop、HBase、Kafka、Spark、大数据平台的管理与监控、大数据离线计算项目和大数据实时计算项目。本书从零基础开始逐一讲解大数据体系中的各种技术，通过丰富的实战案例阐述重点、难点知识，为初学者进入大数据领域打好基础。各章节设计合理，在每章开头设置本章简介，在知识点介绍后紧跟实践操作，在每章的末尾对重要内容进行了概括性回顾并通过练习帮助读者巩固相关知识。本书配套资源丰富，在蓝桥在线学习平台（www.lanqiao.cn/oneplusx/）上汇集了微课、实验等多种学习资源。 本书直接服务于"大数据应用开发（Java）”1 X职业技能等级证书工作，可作为职业院校、应用型本科院校的计算机应用技术、软件技术、软件工程、网络工程和大数据应用技术等计算机类专业的教材，也可供从事计算机相关工作的技术人员参考。

国信蓝桥教育科技（北京）股份有限公司成立于2005年，是一家以大学生就业为切入点，以职业服务为主线，基于大学生职业生涯各个阶段的需求提供精准服务的人才大数据科技服务平台；通过提供教育、就业、职业服务，连接高校和企业，伴随大学生成长；获得的资质包括国家高新技术企业、中关村高新技术企业、人力资源服务许可证、出版物经营许可证、*产学合作协同育人单位、*1 X职业技能等级证书培训评价组织。

第1章 大数据概述 1 
1.1 大数据的历史、现状与未来 1 
1.1.1 大数据的历史 1 
1.1.2 大数据的现状 3 
1.1.3 大数据的未来 5 
1.2 大数据的概念、特征与价值 5 
1.2.1 大数据的概念 5 
1.2.2 大数据的特征 6 
1.2.3 大数据的价值 7 
1.3 大数据的技术架构 8 
1.4 大数据离线计算与实时计算 11 
1.4.1 大数据离线计算 11 
1.4.2 大数据实时计算 12 
1.5 大数据下的数据驱动 13 
1.6 本章小结 15 
1.7 本章练习 15 
第2章 初识Hadoop 17 
2.1 Hadoop概述 17 
2.2 Hadoop生态圈 18 
2.3 Hadoop集群安装部署 21 
2.3.1 集群环境准备 21 
2.3.2 Hadoop集群的重要概念 27 
2.3.3 伪分布模式安装 28 
2.3.4 全分布模式安装 34 
2.4 本章小结 36 
2.5 本章练习 36 
第3章 分布式文件系统—初识HDFS 38 
3.1 HDFS概述 38 
3.2 HDFS工作机制 39 
3.2.1 HDFS通信机制 40 
3.2.2 HDFS数据冗余机制 41 
3.2.3 HDFS元数据管理机制 41 
3.2.4 HDFS数据读写机制 49 
3.2.5 HDFS异常恢复机制 51 
3.2.6 HDFS安全模式机制 51 
3.3 HDFS操作与编程接口 52 
3.3.1 HDFS Web UI 52 
3.3.2 HDFS Shell 54 
3.3.3 HDFS Java API编程 61 
3.4 本章小结 64 
3.5 本章练习 64 
第4章 分布式计算框架MapReduce 66 
4.1 MapReduce概述 66 
4.2 MapReduce运行机制 67 
4.3 编程实现WordCount 73 
4.4 MapReduce数据类型与输入/输出格式 76 
4.5 文件切片 78 
4.6 Shuffle机制详解 79 
4.7 数据清洗案例 90 
4.8 本章小结 94 
4.9 本章练习 95 
第5章 统一资源管理和调度框架YARN 97 
5.1 YARN概述 97 
5.2 YARN体系架构 98 
5.3 YARN工作流程 99 
5.4 YARN调度器与调度策略 100 
5.5 本章小结 101 
5.6 本章练习 102 
第6章 分布式协调框架ZooKeeper 103 
6.1 ZooKeeper概述 103 
6.2 ZooKeeper系统模型 104 
6.2.1 数据模型 104 
6.2.2 集群模型 107 
6.3 ZooKeeper核心机制 107 
6.4 ZooKeeper典型应用 111 
6.5 ZooKeeper安装部署 114 
6.6 ZooKeeper Shell 116 
6.7 本章小结 118 
6.8 本章练习 119 
第7章 数据仓库Hive 121 
7.1 Hive概述 121 
7.2 Hive体系架构 123 
7.3 Hive安装部署 124 
7.4 Hive数据类型 129 
7.5 Hive文件格式 130 
7.6 Hive数据模型 131 
7.7 Hive函数 132 
7.8 Hive实战 133 
7.8.1 DDL操作 133 
7.8.2 DML操作 139 
7.8.3 WordCount详解 153 
7.8.4 高级操作 154 
7.9 本章小结 163 
7.10 本章练习 164 
第8章 日志采集工具Flume 166 
8.1 Flume概述 166 
8.2 Flume体系架构 166 
8.3 Flume安装部署 170 
8.4 Flume实战 171 
8.5 本章小结 174 
8.6 本章练习 174 
第9章 工作流调度器Azkaban 175 
9.1 Azkaban概述 175 
9.2 Azkaban的安装部署 177 
9.3 Azkaban实战 183 
9.4 本章小结 187 
9.5 本章练习 187 
第10章 数据迁移工具Sqoop 189 
10.1 Sqoop概述 189 
10.2 Sqoop的安装部署 190 
10.3 Sqoop实战 191 
10.4 本章小结 200 
10.5 本章练习 201 
第11章 分布式列存储数据库HBase 202 
11.1 HBase概述 202 
11.2 HBase数据模型 203 
11.3 HBase体系架构 206 
11.4 HBase运行机制 208 
11.5 HBase安装部署 210 
11.6 HBase实战 214 
11.6.1 HBase Shell 214 
11.6.2 HBase Java API编程 220 
11.6.3 HBase中使用过滤器Filter 228 
11.6.4 HBase中使用MapReduce 236 
11.7 HBase性能优化 242 
11.7.1 数据库表设计优化 242 
11.7.2 数据库读写优化 243 
11.7.3 HBase参数设置优化 243 
11.8 本章小结 244 
11.9 本章练习 246 
第12章 分布式消息队列Kafka 248 
12.1 两种消息模型 248 
12.2 Kafka架构与机制 249 
12.3 Kafka的安装部署 253 
12.4 Kafka实战 256 
12.4.1 Kafka Shell 256 
12.4.2 Kafka Java API 258 
12.5 本章小结 261 
12.6 本章练习 262 
第13章 内存计算框架Spark 264 
13.1 Spark概述 264 
13.2 Spark体系架构 266 
13.3 Spark安装部署 268 
13.4 Spark客户端操作 272 
13.5 Spark RDD 276 
13.5.1 Spark RDD概述 276 
13.5.2 Spark RDD算子 276 
13.5.3 Spark RDD依赖关系 284 
13.5.4 Spark RDD缓存 285 
13.6 Spark SQL 286 
13.6.1 Spark SQL概述 286 
13.6.2 Spark SQL DataFrame/DataSet 287 
13.6.3 Spark SQL编程 288 
13.6.4 Spark操作JDBC 291 
13.6.5 Spark操作Hive 293 
13.7 Spark Streaming 294 
13.7.1 Spark Streaming概述 294 
13.7.2 Spark Streaming实现实时WordCount 295 
13.7.3 Spark Streaming整合Flume 300 
13.7.4 Spark Streaming整合Kafka 303 
13.8 本章小结 305 
13.9 本章练习 306 
第14章 大数据平台的管理与监控 308 
14.1 平台管理与监控概述 308 
14.2 Nagios介绍 309 
14.3 Ganglia介绍 310 
14.4 Cacti介绍 311 
14.5 JMX介绍 312 
14.6 本章小结 321 
14.7 本章练习 321 
第15章 大数据离线计算项目 323 
15.1 项目概述 323 
15.2 需求分析与项目设计 323 
15.3 数据预处理 325 
15.4 数据分析并导出结果到MySQL 327 
15.5 数据可视化 330 
15.6 本章小结 353 
15.7 本章练习 354 
第16章 大数据实时计算项目 355 
16.1 项目概述 355 
16.2 需求分析与项目设计 355 
16.3 数据采集到消息中间件 356 
16.4 数据实时计算并保存到Redis 357 
16.5 数据可视化 359 
16.6 本章小结 363 
16.7 本章练习 363 
附录A 部分练习参考答案及解析 364 
参考文献 377

本书是"大数据应用开发（Java）”1 X职业技能等级证书配套教材，同时也是蓝桥学院"Java全栈工程师”培养项目配套教材。全书共16章，包括大数据概述、Hadoop、HDFS、MapReduce、YARN、ZooKeeper、Hive、Flume、Azkaban、Sqoop、HBase、Kafka、Spark、大数据平台的管理与监控、大数据离线计算项目和大数据实时计算项目。本书从零基础开始逐一讲解大数据体系中的各种技术，通过丰富的实战案例阐述重点、难点知识，为初学者进入大数据领域打好基础。各章节设计合理，在每章开头设置本章简介，在知识点介绍后紧跟实践操作，在每章的末尾对重要内容进行了概括性回顾并通过练习帮助读者巩固相关知识。本书配套资源丰富，在蓝桥在线学习平台（www.lanqiao.cn/oneplusx/）上汇集了微课、实验等多种学习资源。 本书直接服务于"大数据应用开发（Java）”1 X职业技能等级证书工作，可作为职业院校、应用型本科院校的计算机应用技术、软件技术、软件工程、网络工程和大数据应用技术等计算机类专业的教材，也可供从事计算机相关工作的技术人员参考。

国信蓝桥教育科技（北京）股份有限公司成立于2005年，是一家以大学生就业为切入点，以职业服务为主线，基于大学生职业生涯各个阶段的需求提供精准服务的人才大数据科技服务平台；通过提供教育、就业、职业服务，连接高校和企业，伴随大学生成长；获得的资质包括国家高新技术企业、中关村高新技术企业、人力资源服务许可证、出版物经营许可证、*产学合作协同育人单位、*1 X职业技能等级证书培训评价组织。