Hadoop大数据技术开发实战

图书标准信息

• 作者 张伟洋 著
• 出版社 清华大学出版社
• 出版时间 2019-09
• 版次 1
• ISBN 9787302534020
• 定价 99.00元
• 装帧 平装
• 开本 16
• 纸张 胶版纸
• 页数 462页
• 字数 762千字

【内容简介】

本书以Hadoop及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。全书共16章，第1章讲解了VMware中CentOS 7操作系统的安装；第2章讲解了大数据开发之前对操作系统集群环境的配置；第3~16章讲解了Hadoop生态系统各框架HDFS、MapReduce、YARN、ZooKeeper、HBase、Hive、Sqoop和数据实时处理系统Flume、Kafka、Storm、Spark以及分布式搜索系统Elasticsearch等的基础知识、架构原理、集群环境搭建，同时包括常用的Shell命令、API操作、源码剖析，并通过实际案例加深对各个框架的理解与应用。通过阅读本书，读者即使没有任何大数据基础，也可以对照书中的步骤成功搭建属于自己的大数据集群并独立完成项目开发。

 

本书可作为Hadoop新手入门的指导书，也可作为大数据开发人员的随身手册以及大数据从业者的参考用书。

 

【作者简介】

张伟洋，毕业于中国地质大学计算机科学与技术专业，先后就职于知名互联网公司百度、慧聪网，任Java高级软件工程师，互联网旅游公司任软件研发事业部技术经理。目前供职于青岛英谷教育科技股份有限公司，任大数据项目讲师，为数十所高校先后举行多次大数据专题讲座，对Hadoop及周边框架ZooKeeper、Hive、HBase、Storm、Spark等有深入的研究。高等院校云计算与大数据专业课改教材《云计算与大数据概论》《大数据开发与应用》的主要编写者，百度文库、百度阅读签约作者。

【目录】

章  vmware中安装centos 71 
1.1  下载centos 7镜像文件1 
1.2  新建虚拟机5 
1.3  安装作系统9 
第2章  centos 7集群环境配置16 
2.1  系统环境配置16 
2.1.1  新建用户17 
2.1.2  修改用户权限17 
2.1.3  关闭火墙17 
2.1.4  设置固定ip18 
2.1.5  修改主机名22 
2.1.6  新建资源23 
2.2  安装k23 
2.3  克隆虚拟机25 
2.4  配置主机ip映29 
第3章  hadoop31 
3.1  hadoop简介31 
3.1.1  hadoop生态系统架构32 
3.1.2  hadoop 1.x与2.x的架构对比33 
3.2  yarn基本架构及组件34 
3.3  yarn工作流程37 
3.4  配置集群各节点ssh无密钥登录38 
3.4.1  无密钥登录38 
3.4.2  无密钥登录作步骤39 
3.5  搭建hadoop 2.x分布式集群41 
第4章  hdfs48 
4.1  hdfs简介48 
4.1.1  设计目标49 
4.1.2  体架构49 
4.1.3  主要组件50 
4.1.4  文件读写53 
4.2  hdfs命令行作54 
4.3  hdfs web界面作57 
4.4  hdfs java api作59 
4.4.1  读取数据59 
4.4.2  创建61 
4.4.3  创建文件62 
4.4.4  删除文件63 
4.4.5  遍历文件和64 
4.4.6  获取文件或的元数据65 
4.4.7  上传本地文件66 
4.4.8  下载文件到本地66 
第5章  mapreduce68 
5.1  mapreduce简介68 
5.1.1  设计思想69 
5.1.2  任务流程70 
5.1.3  工作71 
5.2  mapreduce程序编写步骤74 
5.3  案例分析：单词76 
5.4  案例分析：数据去重82 
5.5  案例分析：求均分86 
5.6  案例分析：二次排序89 
5.7  使用mrunit测试mapreduce程序97 
第6章  zookeeper100 
6.1  zookeeper简介100 
6.1.1  应用场景101 
6.1.2  架构101 
6.1.3  数据模型102 
6.1.4  节点类型103 
6.1.5  watcher机制103 
6.1.6  分布式锁105 
6.2  zookeeper安装配置106 
6.2.1  单机模式106 
6.2.2  伪分布模式108 
6.2.3  集群模式109 
6.3  zookeeper命令行作112 
6.4  zookeeper java api作114 
6.4.1  创建java工程114 
6.4.2  创建节点115 
6.4.3  修改数据118 
6.4.4  获取数据118 
6.4.5  删除节点123 
6.5  案例分析：服务器动态上下线124 
第7章  hdfs与yarn ha129 
7.1  hdfs ha搭建129 
7.1.1  架构130 
7.1.2  搭建步骤131 
7.1.3  结合zookeeper进行hdfs自动故障转移137 
7.2  yarn ha搭建142 
7.2.1  架构142 
7.2.2  搭建步骤142 
第8章  hbase147 
8.1  什么是hbase147 
8.2  hbase基本结构148 
8.3  hbase数据模型149 
8.4  hbase集群架构151 
8.5  hbase安装配置153 
8.5.1  单机模式153 
8.5.2  伪分布模式155 
8.5.3  集群模式156 
8.6  hbase shell命令作160 
8.7  hbase java api作164 
8.7.1  创建java工程164 
8.7.2  创建表164 
8.7.3  添加数据166 
8.7.4  查询数据168 
8.7.5  删除数据169 
8.8  hbase过滤器170 
8.9  案例分析：hbase mapreduce数据转移174 
8.9.1  hbase不同表间数据转移174 
8.9.2  hdfs数据转移至hbase180 
8.10  案例分析：hbase数据备份与恢复183 
第9章  hive185 
9.1  什么是hive185 
9.1.1  数据单元186 
9.1.2  数据类型187 
9.2  hive架构体系189 
9.3  hive三种运行模式190 
9.4  hive安装配置191 
9.4.1  内嵌模式192 
9.4.2  本地模式195 
9.4.3  远程模式198 
9.5  hive常见属配置200 
9.6  beeline cli的使用201 
9.7  hive数据库作205 
9.8  hive表作208 
9.8.1  表209 
9.8.2  外部表213 
9.8.3  分区表215 
9.8.4  分桶表219 
9.9  hive查询223 
9.9.1  select子句查询224 
9.9.2  join连接查询230 
9.10  其他hive命令233 
9.11  hive元数据表结构分析235 
9.12  hive自定义函数237 
9.13  hive bc作239 
9.14  案例分析：hive与hbase整合242 
9.15  案例分析：hive分析搜用户搜索志246 
0章  sqoop251 
10.1  什么是sqoop251 
10.1.1  sqoop基本架构252 
10.1.2  sqoop开发流程252 
10.2  使用sqoop253 
10.3  数据导入工具254 
10.4  数据导出工具259 
10.5  sqoop安装与配置261 
10.6  案例分析：将mysql表数据导入到hdfs中262 
10.7  案例分析：将hdfs中的数据导出到mysql中263 
10.8  案例分析：将mysql表数据导入到hbase中264 
1章  kafka267 
11.1  什么是kafka267 
11.2  kafka架构268 
11.3  主题与分区269 
11.4  分区副本271 
11.5  消费者组273 
11.6  数据存储机制274 
11.7  集群环境搭建276 
11.8  命令行作278 
11.8.1  创建主题278 
11.8.2  查询主题279 
11.8.3  创建生产者280 
11.8.4  创建消费者280 
11.9  java api作281 
11.9.1  创建java工程281 
11.9.2  创建生产者281 
11.9.3  创建消费者283 
11.9.4  运行程序285 
11.10  案例分析：kafka生产者287 
2章  flume294 
12.1  什么是flume294 
12.2  架构295 
12.2.1  单节点架构295 
12.2.2  组件介绍296 
12.2.3  多节点架构297 
12.3  安装与简单使用299 
12.4  案例分析：志监控（一）302 
12.5  案例分析：志监控（二）304 
12.6  306 
12.6.1  内置307 
12.6.2  自定义310 
12.7  选择器313 
12.8  案例分析：和选择器的应用315 
12.9  案例分析：flume与kafka整合319 
3章  storm322 
13.1  什么是storm322 
13.2  storm topology323 
13.3  storm集群架构324 
13.4  storm流分组326 
13.5  storm集群环境搭建329 
13.6  案例分析：单词332 
13.6.1  设计思路332 
13.6.2  代码编写333 
13.6.3  程序运行339 
13.7  案例分析：storm与kafka整合341 
4章  elasticsearch347 
14.1  什么是elasticsearch347 
14.2  基本概念348 
14.2.1  索引、类型和文档348 
14.2.2  分片和副本348 
14.2.3  路由349 
14.3  集群架构350 
14.4  集群环境搭建352 
14.5  kibana安装355 
14.6  rest api357 
14.6.1  集群api357 
14.6.2  索引api358 
14.6.3  文档api360 
14.6.4  搜索api363 
14.6.5  query dsl365 
14.7  head插件安装371 
14.8  java api作：员工信息375 
5章  scala379 
15.1  什么是scala379 
15.2  安装scala380 
15.2.1  windows中安装scala380 
15.2.2  centos 7中安装scala381 
15.3  scala基础382 
15.3.1  变量声明382 
15.3.2  数据类型383 
15.3.3  表达式385 
15.3.4  循环386 
15.3.5  方法与函数388 
15.4  集合391 
15.4.1  数组391 
15.4.2  list393 
15.4.3  map映394 
15.4.4  元组396 
15.4.5  set396 
15.5  类和对象398 
15.5.1  类的定义398 
15.5.2  单例对象399 
15.5.3  伴生对象399 
15.5.4  get和set方法400 
15.5.5  构造器402 
15.6  抽象类和特质404 
15.6.1  抽象类404 
15.6.2  特质406 
15.7  使用eclie创建scala项目408 
15.7.1  安装scala for eclie ide408 
15.7.2  创建scala项目409 
15.8  使用intellij idea创建scala项目410 
15.8.1  idea中安装scala插件410 
15.8.2  创建scala项目414 
6章  spark416 
16.1  spark概述416 
16.2  spark主要组件417 
16.3  spark运行时架构419 
16.3.1  spark standalone模式419 
16.3.2  spark on yarn模式421 
16.4  spark集群环境搭建423 
16.4.1  spark standalone模式423 
16.4.2  spark on yarn模式425 
16.5  spark ha搭建426 
16.6  spark应用程序的提交430 
16.7  spark shell的使用433 
16.8  spark rdd435 
16.8.1  创建rdd435 
16.8.2  rdd算子436 
16.9  案例分析：使用spark rdd实现单词441 
16.10  spark sql448 
16.10.1  dataframe和dataset448 
16.10.2  spark sql基本使用449 
16.11  案例分析：使用spark sql实现单词452 
16.12  案例分析：spark sql与hive整合454 
16.13  案例分析：spark sql读写mysql457