Hadoop集群程序设计与开发

图书标准信息

• 作者 王宏志、李春静 著
• 出版社 人民邮电出版社
• 出版时间 2018-08
• 版次 1
• ISBN 9787115483041
• 定价 59.80元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 319页
• 字数 0.55千字
• 正文语种 简体中文

【内容简介】

本书主要内容包括：第 1章 初识Hadoop、第 2章 Hadoop基础、第3章 Hadoop开发环境配置与搭建、第4章 Hadoop分布式文件系统（HDFS）、第5章 资源管理器（Yarn）、第6章 MapReduce基础程序设计、第7章 MapReduce程序设计、第8章 分布式数据库HBase、第9章 分布式数据仓库Hive、第 10章 项目测试与发布

【作者简介】

王宏志，哈尔滨工业大学计算机科学与技术学院海量数据计算研究中心教授，中国计算机学会数据库专委会委员。

【目录】

  
章初识hadoop1


1.1 为什么要学hadoop2


1.1.1信息化项目衍生过程2


1.1.2hadoop产生过程5


1.1.3hadoop成功案例介绍8


1.2 hadoop与云计算的关系8


1.2.1什么是云计算8


1.2.2云计算演进历史10


1.2.3云计算相关技术介绍12


1.2.4hadoop在云项目中扮演的角12


1.3 hadoop与大数据的关系13


1.3.1什么是大数据13


1.3.2大数据的存储结构15


1.3.3大数据的计算模式15


1.3.4hadoop在大数据中扮演的角16


1.4学hadoop需要具备的知识基础16


1.5学hadoop需要的实验环境17


1.6 hadoop的用途17


1.7 小结17


第2章hadoop基础知识18


2.1 hadoop简介19


2.1.1apache hadoop项目核心模块19


2.1.2apache hadoop项目的其他模块20


2.2 hadoop版本演化22


2.3 rpc工作23


2.3.1rpc简介24


2.3.2hadoop中的rpc25


2.3.3rpcoib和jvm-旁路缓冲管理方案：在高能网络infiniband上数据交换的改进28


2.4 mapreduce工作30


2.4.1mapreduce计算模型32


2.4.2mapreduce经典案例33


2.4.3mapreduce应用场景34


2.5 hadoop改进34


2.5.1late算法：良好的适应异构环境35


2.5.2mantri：mapreduce异常处理36


2.5.3skewtune：mapreduce中数据偏斜处理37


2.5.4基于rdma的mapreduce设计：提升大数据应用的能和规模42


2.6 hdfs工作44


2.6.1hdfs介绍45


2.6.2hdfs体系结构47


2.6.3文件系统的命名空间50


2.6.4hdfs中block副本放置策略51


2.6.5hdfs机架感知51


2.6.6hdfs安全模式53


2.6.7hdfs应用场景介绍53


2.6.8混合hdfs的设计：充分利用硬件能力获得佳能53


2.7 yarn工作55


2.7.1yarn on hdfs的工作55


2.7.2mapreduce on yarn的工作58


2.8 容错机制64


2.9 安全66


2.10 小结67


第3章hadoop开发环境配置与搭建68


3.1 集群部署69


3.1.1安装包版本的选择69


3.1.2hadoop安装先决条件69


3.1.3hadoop安装模式70


3.2 本地/独立模式搭建71


3.2.1k安装与配置71


3.2.2ssh无密码登录72


3.2.3hadoop本地环境参数配置74


3.2.4hadoop本地模式验证74


3.3 伪分布模式搭建74


3.3.1配置过程75


3.3.2格式化hdfs76


3.3.3hadoop进程启停与验证76


3.4 全分布模式搭建77


3.4.1hadoop网络配置77


3.4.2hadoop集群ssh配置79


3.4.3时间同步80


3.4.4ip与机器名映82


3.4.5hadoop环境配置82


3.4.6hadoop集群启停与验证84


3.5基于hadoop台的eclie开发环境的搭建84


3.5.1hadoop eclie插件配置85


3.5.2编写个mapreduce程序88


3.5.3编译打包及运行程序90


3.6 小结93


第4章hadoop分布式文件系统94


4.1 hdfs工作95


4.1.1hdfs读数据的过程95


4.1.2hdfs写数据的过程96


4.1.3hdfs删除与恢复数据的过程97


4.2 hdfs常用命令行作概述98


4.2.1hdfs命令行98


4.2.2hdfs常用命令行作102


4.3 通过web浏览hdfs文件105


4.4 hdfs api106


4.4.1使用filesystem api读取数据命令行112


4.4.2使用filesystem api写入数据命令行115


4.4.3fileutil文件处理116


4.5 小结117


第5章hadoop的i/o作118


5.1 压缩119


5.1.1hadoop压缩类型119


5.1.2pressioncodec接121


5.1.3pressioncodecfactory类123


5.1.4压缩池125


5.1.5hadoop中使用压缩127


5.2 i/o序列化类型128


5.2.1writable接129


5.2.2java基本类型的writable封装器131


5.2.3intwritable与vintwritable类133


5.2.4text类134


5.2.5byteswritable类135


5.2.6nullwritable类136


5.2.7objectwritable类136


5.2.8自定义writable接138


5.3 基于文件的数据结构141


5.3.1sequencefile141


5.3.2mapfile144


5.4 小结145


第6章mapreduce编程基础146


6.1 剖析mapreduce编程过程147


6.2由wordcount理解mapreduce编程过程147


6.2.1准备工作147


6.2.2mapper工作过程148


6.2.3reducer工作过程151


6.2.4job工作过程153


6.3 mapreduce类型155


6.4 mapper输入155


6.4.1默认输入格式156


6.4.2fileinput输入160


6.4.3多路径输入161


6.4.4自定义输入分片163


6.5 shuffle166


6.5.1shuffle运行166


6.5.2分区168


6.5.3排序170


6.5.4分组171


6.6 biner172


6.6.1由wordcount案例讲解biner172


6.6.2由svg案例进一步讲解biner173


6.7 outputformat输出178


6.8编程模型的扩展——flumejava：云计算不错编程模型181


6.8.1flumejava结构181


6.8.2flumejava优化183


6.9 小结183


第7章mapreduce不错编程184


7.1 器185


7.1.1内置器185


7.1.2自定义器188


7.1.3器结果查看190


7.2 值191


7.2.1单一值191


7.2.2top n195


7.3 全排序198


7.3.1全排序业务需求198


7.3.2实验数据准备199


7.3.3自定义分区实现全排序过程200


7.3.4通过抽样实现全排序过程203


7.4 二次排序206


7.4.1解决方案207


7.4.2例子210


7.5 连接211


7.5.1reduce端连接213


7.5.2map端连接217


7.6 小结220


第8章初识hbase221


8.1 hbase基础知识222


8.1.1hbase特征222


8.1.2hbase数据模型223


8.1.3hbase体系结构225


8.2 hbase开发环境配置与安装231


8.2.1hbase环境配置基本准备条件232


8.2.2hbase配置文件233


8.2.3hbase独立安装234


8.2.4hbase伪分布式安装234


8.2.5hbase分布式安装235


8.2.6hbase启动、停止、监控236


8.3 hbase基本shell作237


8.3.1hbase shell启动237


8.3.2hbase shell通用命令237


8.3.3hbase shell表管理命令238


8.3.4hbase shell表作命令238


8.3.5hbase shell应用举例239


8.4 基于hbase api程序设计239


8.4.1管理表结构240


8.4.2管理表信息242


8.4.3scan244


8.4.4过滤器245


8.4.5协处理器247


8.4.6器247


8.4.7mapreduce与hbase互作247


8.5 rowkey设计250


8.5.1hbase值的存储与读取的特点250


8.5.2hbase值存储特点引发的问题250


8.5.3rowkey设计遵循的原则251


8.6hbase的高能设计：使用infiniband的rdma253


8.6.1设计254


8.6.2优势254


8.7 小结255


第9章初识hive256


9.1 hive基础知识257


9.1.1hive的存储结构257


9.1.2hive与传统数据库的比较258


9.2 hive环境安装260


9.2.1hive内嵌模式安装261


9.2.2hive独立模式安装262


9.2.3hive远程模式安装263


9.2.4初识hive shell264


9.2.5java通过bc对hive作266


9.3 hiveql基本语法269


9.3.1hive中的数据库270


9.3.2创建表的基本语法271


9.3.3表中数据的加载273


9.3.4hiveql的数据类型274


9.3.5数据类型转换277


9.3.6文本文件数据编码278


9.3.7分区和桶279


9.3.8表维护282


9.4 hiveql基本查询283


9.4.1select…from语句284


9.4.2where语句285


9.4.3嵌套select语句286


9.4.4hive函数287


9.4.5group by语句303


9.4.6join语句305


9.4.7union all语句310


9.4.8order by和sort by语句310


9.4.9含有sort by的distributeby语句311


9.4.10cluster by语句312


9.5 视图和索引313


9.5.1视图313


9.5.2索引314


9.6 hive与hbase集成315


9.7 小结318


附录《hadoop集群程序设计与开发》配套实验课程方案简介319