Hadoop大数据开发/普通高等教育新工科人才培养规划教材（大数据专业）

图书标准信息

• 作者 刘春阳、张学龙、刘丽军、陈勇、陈艳男 编
• 出版社 中国水利水电出版社
• 出版时间 2018-09
• 版次 1
• ISBN 9787517069034
• 定价 32.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 176页
• 字数 280千字
• 正文语种 简体中文
• 丛书 普通高等教育新工科人才培养规划教材（大数据专业

【内容简介】

　　《Hadoop大数据开发/普通高等教育新工科人才培养规划教材（大数据专业）》通过原理加案例方式系统讲解了Hadoop大数据开发，精心安排了原理分析、环境搭建、案例开发等环节，使读者对解决大数据问题有清晰的思路。
　　《Hadoop大数据开发/普通高等教育新工科人才培养规划教材（大数据专业）》共7章：前6章系统讲解大数据Hadoop架构，包括大数据处理平台Hadoop、分布式文件系统HDFS，并行计算模型MapReduce、资源调度框架Yam；第7章是MapReduce应用实例，通过案例帮助读者进一步理解Hadoop平台。全书突出三个特点：道理简单明了、思路清晰透彻、案例新颖实用。
　　《Hadoop大数据开发/普通高等教育新工科人才培养规划教材（大数据专业）》可作为普通高校大数据相关专业的教材，可供想深入了解Hadoop架构编程的读者参考，还可作为相关培训班的培训教材。

【作者简介】

刘春阳，中关村软件园百知教育经理，主要从事计算机相关专业培训，负责开发高培中心的公务员网上培训系统，以及曾参与完成颐信科技公司ca电子安全系统和亚信科技公司黑客系统软件开发。

【目录】

前言

第1章 大数据概论
1．1 大数据概述
1．1．1 大数据产生的时代背景
1．1．2 大数据的特征
1．1．3 大数据应用案例
1．1．4 大数据的机遇与挑战
1．2 大数据处理技术
1．3 大数据与云计算
1．4 本章小结

第2章 大数据处理平台Hadoop
2．1 Hadoop生态系统
2．2 Hadoop架构
2．2．1 HDFS
2．2．2 MapReduce
2．2．3 Yam
2．3 Hadoop版本变迁
2．3．1 Hadoop发展史
2．3．2 如何选择Hadoop开发版本
2．4 本章小结

第3章 Hadoop平台搭建
3．1 基础环境配置
3．2 Hadoop配置文件修改
3．3 Hadoop平台运行及验证
3．4 本章小结

第4章 分布式文件系统HDFS
4．1 HDFS架构
4．1．1 HDFS的基本框架
4．1．2 HDFS的特点
4．2 HDFS的工作机制
4．2．1 HDFS读写过程分析
4．2．2 NameNode的工作机制
4．2．3 元数据的CheckPoint
4．2．4 DataNode的工作机制
4．3 HDFS shell命令
4．3．1 帮助相关命令
4．3．2 查看相关命令
4．3．3 文件及目录相关命令
4．3．4 统计相关命令
4．3．5 快照命令
4．4 本章小结

第5章 HDFS Java API编程
5．1 远程开发环境搭建
5．2 HDFS．Java APl接口
5．3 IJDFS Java APl编程
5．3．1 获取文件系统
5．3．2 列出所有DataNode的名字信息
5．3．3 创建文件目录
5．3．4 删除文件或文件目录
5．3．5 查看文件是否存在
5．3．6 文件上传至HDFS
5．3．7 从HDFS下载文件
5．3．8 文件重命名
5．3．9 遍历目录和文件
5．3．10 根据filter获取目录下的文件
5．3．11 取得数据块所在的位置
5．4 程序打包
5．5 本章小结

第6章 并行计算MapReduce
6．1 MapReduce编程模型
6．1．1 并行编程模型概述
6．1．2 并行计算编程模型
6．1．3 MapReduce编程模型
6．2 MapReduce工作原理
6．3 Yarn
6．3．1 Yam基本框架与组件
6．3．2 Yam工作流程
6．3．3 新旧Hadoop MapReduce框架对比
6．4 MapReduce Shuffle性能调优
6．5 本章小结

第7章 MapReduce JavaAPI编程
7．1 MapReduce JavaAPI接口讲解
7．1．1 InputFormat接口
7．1．2 Mapper类
7．1．3 Partitioner类
7．1．4 Combiner类
7．1．5 Reducer类
7．1．6 OutputFormat接口
7．1．7 GenericOptionsParser类
7．1．8 DistributedCache类
7．2 MapReduce Java API应用实例
7．2．1 统计单词出现频率
7．2．2 统计出现的单词
7．2．3 统计平均成绩
7．2．4 排序
7．2．5 求年最高温度
7．2．6 关系运算——投影运算
7．2．7 关系运算——并运算
7．2．8 关系运算——交运算
7．2．9 关系运算——差运算
7．2．10 关系运算——连接运算
7．3 MapReduce Java API高级编程
7．3．1 多输入路径方式
7．3．2 使用Partitioner实现输出到多个文件
7．3．3 自定义OutputFormat文件输出
7．3．4 文本文件转化成XML文件
7．3．5 通过MultipleOutputs完成多文件输出
7．3．6 将MapReduce产生的结果集导入到MySQL中
7．3．7 自定义比较器
7．3．8 MapReduce分析明星微博数据
7．3．9 MapReduce最佳成绩统计
7．3．1 0MapReduce链接作业
7．3．1 1利用Job嵌套求解二度人脉
7．4 本章小结

附录CentOS7安装