Hadoop技术与应用（魏迎 主编）

图书标准信息

• 作者 魏迎
• 出版社 西安电子科技大学出版社
• 出版时间 2021-03
• 版次 1
• ISBN 9787560659831
• 定价 49.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 316页
• 字数 468千字

【内容简介】

本书采用“理论 实战”的形式编写，将企业需求分解为单独的项目，全面系统地讲解了Hadoop大数据的相关知识及应用。全书共12个项目，首先介绍了大数据技术的发展、Hadoop生态圈的组成、Hadoop集群部署、采集数据上传到HDFS；接着具体介绍了为提高集群的可持续服务，在分布式协调组件ZooKeeper的协助下，部署HDFS的HA集群和YARN的HA集群的方法；然后讲解了MapReduce、HBase和Hive的实际应用，并具体讲解了通过Flume监听Hadoop集群日志，以及使用Sqoop实现数据在MySQL和HDFS之间的相互传输；*后介绍如何借助Ambari工具一站式部署、管理Hadoop集群，并展望了大数据未来的发展方向。
  本书适合作为高职高专院校大数据技术课程的教学用书，也适合作为培训机构和大数据技术爱好者的参考用书。

【目录】

项目1  大数据台部署前的环境准备1
任务1  大数据技术及应用3
任务描述3
知识准备3
一、大数据简介3
二、大数据的特征3
三、大数据相关概念5
四、大数据的典型应用5
任务实施  通过思维导图展示大数据
          技术的应用6
任务2  获取hadoop资源7
任务描述7
知识准备7
一、hadoop的起源7
二、hadoop的特点8
三、hadoop生态圈8
四、hadoop版本演变9
五、常见hadoop的发行版本11
任务实施  通过hadoop官网下载hadoop
软件11
能力拓展  hadoop部署前的环境配置12
项目小结24
课后题24
项目2  部署hadoop集群26
任务1  部署单机模式hadoop28
任务描述28
知识准备28
一、hadoop的安装方式28
二、安装k28
任务实施  安装单机模式hadoop30
任务2  部署伪分布模式hadoop33
任务描述33
知识准备33
一、hadoop集群33
二、hadoop介绍33
任务实施  部署伪分布模式hadoop34
能力拓展  部署hadoop集群40
项目小结49
课后题49
项目3  采集数据到hdfs51
任务1  通过shell采集数据到hdfs52
任务描述52
知识准备53
一、hdfs简介53
二、hdfs的优势53
三、hdfs的局限53
四、hdfs的架构54
五、hdfs的工作机制57
六、hdfs的容错59
七、访问hdfs60
任务实施  通过shell命令采集数据到
hdfs62
任务2  通过java api采集数据到hdfs68
任务描述68
知识准备69
一、文件读取69
二、文件写入69
三、安装java开发环境70
任务实施  通过java api 采集数据到
hdfs75
能力拓展  通过数据流采集数据到hdfs80
项目小结82
课后题82
项目4  部署hdfs的ha集群85
任务1  安装zookeeper服务87
任务描述87
知识准备87
一、zookeeper简介87
二、zookeeper的特88
三、zookeeper的工作88
四、zookeeper的工作模式89
五、zookeeper的角89
任务实施  安装zookeeper服务90
任务2  访问zookeeper服务94
任务描述94
知识准备94
一、读写机制94
二、数据模型94
三、通知机制95
四、典型应用场景95
任务实施  访问zookeeper服务96
任务3  部署hdfs的高可用集群99
任务描述99
知识准备100
一、hdfs ha机制100
二、hdfs federation机制102
任务实施  部署hdfs的ha集群103
项目小结114
课后题114
项目5  部署yarn的ha集群116
任务1  部署yarn集群118
任务描述118
知识准备118
一、yarn产生背景118
二、yarn的优点120
三、yarn的组成及架构120
四、yarn工作流程122
五、yarn容错123
任务实施  部署yarn集群123
任务2  部署yarn的高可用集群125
任务描述125
知识准备125
一、yarn ha机制125
二、rm的存储126
任务实施  部署yarn的ha集群127
项目小结133
课后题133
项目6  mapreduce应用135
任务  mapreduce java api编程136
任务描述136
知识准备137
一、mapreduce核心思想137
二、mapreduce工作流程138
三、mapreduce api编程142
任务实施  利用wordcount统计单词数147
能力拓展  用mapreduce实现均的
计算151
项目小结156
课后题157
项目7  部署开源数据库hbase162
任务1  部署hbase服务164
任务描述164
知识准备164
一、hbase概述164
二、hbase数据模型165
三、hbase功能组件167
四、hbase运行机制170
任务实施  安装部署hbase172
任务2  访问hbase服务175
任务描述175
知识准备175
一、hbase常用shell命令175
二、hbase java api的应用177
三、hbase过滤器178
任务实施  hbase java api编程实践180
能力拓展  创建自定义过滤器186
项目小结189
课后题190
项目8  部署数据仓库hive192
任务1  部署hive服务194
任务描述194
知识准备194
一、hive概述194
二、hive的系统架构195
三、hive ha的基本197
四、hive的工作197
五、hive的安装模式199
任务实施  部署hive的相关工具200
任务2  访问hive服务203
任务描述203
知识准备203
一、hive的管理203
二、hive的数据模型204
三、hive的数据类型205
四、hive的基本作206
任务实施  通过hive实现wordcount211
能力拓展  hive实现分组排序211
项目小结216
课后题217
项目9  利用flume数据219
任务1  端数据并输出到flume
控制台221
任务描述221
知识准备221
一、flume简介221
二、flume event的概念221
三、flume的优势和特征222
四、flume的环境搭建223
五、flume三大组件223
任务实施  端数据并输出到
flume控制台227
任务2  hive志文件并输出到flume
        控制台230
任务描述230
知识准备230
一、exec source230
二、hdfs sink231
三、hive sink232
任务实施  hive志文件并输出到
flume控制台233
能力拓展  flumehive志文件并
输出到hdfs237
项目小结242
课后题242
项目10  sqoop实现数据传输244
任务1  数据从mysql导入hdfs246
任务描述246
知识准备246
一、sqoop简介246
二、sqoop的环境搭建247
三、sqoop的常用命令249
四、sqoop import命令的常用参数249
任务实施  数据从mysql导入hdfs250
任务2  数据从hdfs导出到mysql257
任务描述257
知识准备257
sqoop export命令的常用参数258
任务实施  数据从hdfs导出到mysql258
能力拓展  用sqoop将hdfs数据导出到
mysql数据表指定的列264
项目小结268
课后题268
项目11  ambari部署hadoop集群270
任务  ambari的安装271
任务描述271
知识准备272
一、ambari简介272
二、ambari的作用272
三、ambari的架构及工作流程272
四、软件下载275
任务实施  利用ambari部署、管理hadoop
集群277
能力拓展  在ambari中启用hdfs的ha293
项目小结297
课后题298
项目12  大数据的未来299
任务  大数据的未来300
任务描述300
知识准备301
一、医疗领域301
二、智慧城市领域302
三、教育领域303
四、人工智能领域304
五、大数据与5g通信305
项目小结306
课后题306
参文献308