实战Hadoop 2.0（第二版）――从云计算到大数据

图书标准信息

• 作者 叶晓江 著
• 出版社 电子工业出版社
• 出版时间 2016-06
• 版次 2
• ISBN 9787121285646
• 定价 79.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 512页
• 字数 751千字
• 正文语种 简体中文

【内容简介】

书是刘鹏教授主编的国内**本Hadoop编程书籍《实战Hadoop》的第二版。Hadoop堪称业界*经典的开源云计算和大数据平台软件。本书系统介绍了Hadoop 2.0生态圈的核心和扩展组件，包括：管理工具Ambari、分布式文件系统HDFS、分布式资源管理器YARN、分布式并行处理MapReduce、内存型计算框架Spark、数据流实时处理系统Storm、分布式锁服务ZooKeeper、分布式数据库HBase、数据仓库工具Hive，以及Pig、Oozie、Flume、Mahout等。

【作者简介】

刘鹏，清华大学博士，解放军理工大学教授、学科带头人，中国云计算专家委员会委员。主要研究方向为信息网格和云计算，完成科研课题18项，发表论文70余篇，获部级科技进步奖6项。曾夺得国际计算机排序比赛冠军，并二次夺得全国高校科技比赛高奖，获“全军十大学习成才标兵”、“南京十大杰出青年”和“清华大学学术新秀”等称号。2002年首倡的“网格计算池”和2003年研发的“反垃圾邮件网格”分别为云计算和云安全的前身。创办了知名的中国网格和中国云计算网站。

【目录】

目  录

|第1章| 大数据组件概述1
1．1 Google大数据组件2
1．2 Apache大数据组件6
1．2．1 Hadoop核心组件7
1．2．2 基于MR的数据分析组件10
1．2．3 数据库组件16
1．2．4 BSP组件19
1．2．5 基于YARN框架组件20
1．2．6 基于YARN的编程类库组件24
1．2．7 搜索引擎组件25
1．2．8 工作流组件26
1．2．9 数据流组件27
1．2．10 序列化和持久化组件29
1．2．11 调试工具30
1．2．12 安全性组件31
1．2．13 兼容性组件33
1．2．14 集群部署与管理组件33
习题34
参考文献35
|第2章| 大数据集群39
2．1 大数据集群简介40
2．2 大数据集群bigCstor45
2．3 我的大数据集群littleCstor48
2．4 小结52
习题52
参考文献53
|第3章| 集群管理工具Ambari55
3．1 Ambari简介56
3．2 使用Ambari部署HDP59
3．3 使用Ambari搭建littleCstor62
3．3．1 相关约定62
3．3．2 制定部署规划63
3．3．3 搭建prelittleCstor64
3．3．4 本地建仓72
3．3．5 部署AmbariServer77
3．3．6 搭建littleCstor83
3．3．7 小结105
3．4 使用Ambari管理littleCstor110
3．5 小结111
习题111
参考文献111
|第4章| 分布式文件系统HDFS113
4．1 分布式存储引例114
4．1．1 问题描述114
4．1．2 常规解决方案115
4．1．3 分布式解决方案117
4．2 HDFS简介124
4．2．1 HDFS逻辑架构124
4．2．2 HDFS物理拓扑129
4．2．3 HDFS部署133
4．2．4 HDFS其他概念[9]135
4．3 HDFS接口138
4．4 实战HDFS Shell140
4．4．1 HDFS文件级命令集141
4．4．2 HDFS系统级命令集143
4．5 实战WebHDFS149
4．5．1 WebHDFS简介149
4．5．2 WebHDFS示例151
4．6 实战HDFS JAVA API156
4．6．1 搭建开发环境156
4．6．2 常规操作示例158
4．7 实战HDFS大项目：用HDFS存储海量视频数据163
4．7．1 应用场景163
4．7．2 设计实现164
习题166
参考文献166

|第5章| 分布式资源管理器YARN169
5．1 分布式资源管理器引例170
5．1．1 分布式资源管理器简介170
5．1．2 分布式资源管理器架构173
5．2 YARN简介177
5．2．1 基础概念177
5．2．2 物理拓扑179
5．2．3 体系架构180
5．2．4 集群部署190
5．3 YARN接口192
5．4 实战YARN Shell194
5．4．1 系统级命令195
5．4．2 程序级命令197
5．4．3 其他辅助命令199
5．5 实战YARN编程199
5．5．1 常见并行化范式199
5．5．2 YARN编程步骤205
5．6 实战YARN编程之DistributedShell213
5．6．1 DistributedShell简介213
5．6．2 编写DistributedShell214
5．7 实战YARN编程之三大范式221
5．7．1 DistributedShell222
5．7．2 MapReduce222
5．7．3 Giraph223
习题224
参考文献224
|第6章| 分布式并行处理MapReduce225
6．1 并行化范式M-S-R引例226
6．1．1 问题描述226
6．1．2 常规解决方案227
6．1．3 分布式解决方案228
6．1．4 小结234
6．2 MapReduce简介[1]234
6．2．1 基本概念235
6．2．2 编程模型237
6．2．3 集群部署239
6．2．4 体系架构241
6．2．5 执行过程245
6．3 MapReduce接口247
6．4 实战MapReduce Shell250
6．5 实战MapReduce编程253
6．6 实战MapReduce编程之WordCount[3]256
6．6．1 WordCount代码分析256
6．6．2 WordCount处理过程260
6．7 实战MapReduce编程之SecondarySort261
6．8 实战MapReduce编程之倒排索引265
6．8．1 简介265
6．8．2 分析与设计266
6．8．3 倒排索引完整源码269
6．9 实战MapReduce之性能优化271
习题280
参考文献280
|第7章| 分布式锁服务ZooKeeper281
7．1 ZooKeeper简介282
7．1．1 ZooKeeper应用场景282
7．1．2 ZooKeeper体系架构[3]285
7．1．3 ZooKeeper服务模型287
7．1．4 ZooKeeper部署289
7．2 ZooKeeper接口292
7．2．1 接口汇总292
7．2．2 实战ZooKeeper Shell292
7．3 实战ZooKeeper编程294
7．4 实战ZooKeeper之进程通信296
7．5 实战ZooKeeper之进程调度系统297
7．5．1 设计方案297
7．5．2 设计实现297
7．6 实战ZooKeeper之实现NameNode自动切换303
7．6．1 设计思想304
7．6．2 详细设计304
7．6．3 编码305
7．6．4 实战总结310
习题311
参考文献311
|第8章| 分布式数据库HBase313
8．1 HBase简介314
8．1．1 体系架构314
8．1．2 数据模型320
8．1．3 集群部署[21]321
8．2 HBase接口326
8．3 实战HBase Shell327
8．4 实战HBase API329
8．5 实战HBase之综例330
8．6 实战HBase之使用MapReduce构建索引332
8．6．1 索引表蓝图332
8．6．2 HBase和MapReduce333
8．6．3 实现索引334
习题336
参考文献337
|第9章| 内存型计算框架Spark339
9．1 Spark简介340
9．1．1 基础概念340
9．1．2 体系架构346
9．1．3 集群部署358
9．1．4 计算模型366
9．1．5 工作机制374
9．1．6 其他特性375
9．2 Spark接口377
9．3 实战Spark Shell379
9．3．1 集群管理379
9．3．2 任务管理381
9．4 实战Spark编程之RDD383
9．4．1 RDD属性383
9．4．2 并行化证明RDD、调试RDD386
9．4．3 RDD操作389
9．5 实战Spark之WordCount[3]396
9．6 实战Spark之MLLib397
习题398
参考文献398

|第10章| 数据流实时处理系统Storm399
10．1 Storm简介400
10．1．1 与Hadoop的关系400
10．1．2 基础概念402
10．1．3 体系架构408
10．1．4 集群部署[4]412
10．1．5 计算模型421
10．2 Storm接口450
10．3 实战Storm Shell452
10．4 实战Storm API之RollingTopWords455
习题457
参考文献458
|第11章| 数据仓库工具Hive459
11．1 Hive简介460
11．1．1 工作原理460
11．1．2 体系架构461
11．1．3 计算模型462
11．1．4 集群部署463
11．2 Hive接口467
11．2．1 接口汇总467
11．2．2 实战Hive Web467
11．3 实战Hive Shell468
11．3．1 DDL Operations468
11．3．2 DML Operations469
11．3．3 SQL Operations470
11．4 实战Hive之复杂语句471
11．5 实战Hive之综合示例473
11．6 实战Hive API接口474
11．6．1 UDF编程示例[3]474
11．6．2 UDAF编程示例475
习题477
参考文献477
|第12章| 其他常见大数据组件479
12．1 Pig480
12．1．1 Pig简介480
12．1．2 实战Pig483
12．2 Oozie483
12．2．1 Oozie简介483
12．2．2 实战Oozie[4]485
12．3 Flume487
12．3．1 Flume简介487
12．3．2 Flume入门489
12．4 Mahout492
12．4．1 Mahout简介492
12．4．2 Mahout入门492
习题494
参考文献494
|附录A| 手工部署Hadoop2．0495
一、部署综述496
二、部署步骤500