Hadoop集群与安全

图书标准信息

• 作者 [美]扎伯瑞福斯基（Danil Zburivsky）、[美]娜拉燕南（Sudheesh Narayana） 著；刘杰、沈鑫 译
• 出版社 机械工业出版社
• 出版时间 2014-11
• 版次 1
• ISBN 9787111480624
• 定价 49.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 165页
• 正文语种 简体中文
• 原版书名 Hadoop Cluster Deployment，Securing Hadoop
• 丛书 大数据技术丛书

【内容简介】

　　Hadoop自动化安装和配置的问题在于隐藏了许多Hadoop组件协同工作的重要细节，《大数据技术丛书：Hadoop集群与安全》介绍如何手动安装和配置主要的Hadoop组件，以便高效使用Hadoop平台。通过设置一个完全可运行的集群，可对Hadoop内部的运行机制产生更深入的了解，并且有助于你调试任何可能发生的问题。《大数据技术丛书：Hadoop集群与安全》还介绍了保障基于Hadoop的大数据平台安全的实现方案和最佳实践，覆盖Kerberos安全协议和Hadoop安全机制的设计，并包括在企业内部来确保Hadoop及其生态系统相关组件安全的详细方案。
　　通过阅读《Hadoop集群与安全》，你将了解：
　　·如何手动配置主要的Hadoop组件，以及Hadoop生态系统。
　　·如何在云端使用Hadoop，包括ElasticMapReduce和Whirr的应用。
　　·如何配置Kerberos并建立安全的Hadoop集群。
　　·如何保护Hadoop生态系统中的敏感数据。

【作者简介】

　　扎伯瑞福斯基（DanilZburivsky），资深数据库管理员，目前是全球数据基础构架管理公司Pythian的咨询师，其客户涉及金融、娱乐以及通信领域，主要方向是创建各种Hadoop集群。研究兴趣包括Python编程、机器学习等。
　　
　　娜拉燕南（SudheeshNarayana），在大数据解决方案咨询与实施领域具有丰富经验的实践者和技术战略家。他在IT领域的经验超过15年，涉及信息管理、商务智能、大数据分析及云应用和J2EE应用开发等。
　　
　　刘杰，中国科学院软件所副研究员，具有多年Hadoop平台研发与实施经验，与团队一起研发基于Hadoop的可视化大数据分析工具Haflow，该工具应用于医疗、交通等多个领域。研究方向包括企业数据集成、面向大数据的系统软件、数据挖掘等。
　　
　　沈鑫，毕业于同济大学计算机科学与技术系，资深网络工程师，从事网络安全、管理信息系统的开发与维护，参与开发了多个相关的项目。兴趣爱好是网络安全技术与嵌入式技术。

【目录】

译者序
作者简介
审校者简介
前言

第1章构建Hadoop集群
1.1选择Hadoop集群硬件
1.1.1选择DataNode硬件
1.1.2低存储密度集群
1.1.3高存储密度集群
1.1.4NameNode和JobTracker硬件配置
1.1.5网关和其他辅助服务
1.1.6网络配置
1.1.7Hadoop硬件总结
1.2Hadoop发行版
1.2.1Hadoop版本
1.2.2选择Hadoop发行版
1.2.3ClouderaHadoop发行版
1.2.4HortonworksHadoop发行版
1.2.5MapR
1.3为Hadoop集群选择操作系统
1.4小结

第2章安装和配置Hadoop
2.1在Hadoop集群中配置操作系统
2.1.1选择和设置文件系统
2.1.2设置Java开发包
2.1.3其他操作系统设定
2.1.4设置CDH存储库
2.2设置NameNode
2.2.1JournalNode节点、ZooKeeper以及故障转移控制器
2.2.2Hadoop配置文件
2.2.3NameNode高可用方案配置
2.2.4JobTracker配置
2.2.5DataNode配置
2.3小结

第3章配置Hadoop生态系统
3.1托管Hadoop生态项目
3.2Sqoop
3.2.1安装和配置Sqoop
3.2.2Sqoop导入示例
3.2.3Sqoop导出示例
3.3Hive
3.3.1Hive架构
3.3.2安装HiveMetastore
3.3.3安装Hive客户端
3.3.4安装HiveServer
3.4Impala
3.4.1Impala架构
3.4.2安装Impalastatestore
3.4.3安装Impalaserver
3.5小结

第4章Hadoop安全
4.1Hadoop安全概述
4.2Hadoop分布式文件系统安全
4.3MapReduce安全
4.4Hadoop服务级别验证
4.5Hadoop和Kerberos
4.5.1Kerberos概述
4.5.2Hadoop中的Kerberos
4.6小结

第5章监控Hadoop集群
5.1监控策略介绍
5.2Hadoop参数
5.2.1JMX参数
5.2.2使用Nagios监控Hadoop
5.2.3监控Hadoop分布式文件系统
5.2.4NameNode校验
5.2.5JournalNode检查
5.2.6ZooKeeper检查
5.3监控MapReduce
5.4使用Ganglia监控Hadoop
5.5小结

第6章在云端使用Hadoop
6.1AmazonElasticMapReduce
6.1.1安装EMR命令行接口
6.1.2选择Hadoop版本
6.1.3启动EMR集群
6.2使用Whirr
6.3小结

第7章Hadoop平台安全概述
7.1为什么需要保障Hadoop生态系统的安全
7.2确保Hadoop生态系统安全面临的挑战
7.3关键安全因素
7.4小结

第8章Hadoop安全体系设计
8.1什么是Kerberos
8.1.1Kerberos关键术语
8.1.2Kerberos如何工作
8.1.3Kerberos的优点
8.2不采用Kerberos的Hadoop默认安全模型
8.3HadoopKerberos安全模型实现
8.3.1用户层次的访问控制
8.3.2服务层次的访问控制
8.3.3用户和服务认证
8.3.4授权令牌
8.3.5作业令牌
8.3.6数据块访问令牌
8.4小结

第9章配置一个安全Hadoop集群
9.1前提条件
9.2设置Kerberos
9.3配置Hadoop使用Kerberos认证
9.3.1在所有Hadoop节点设置Kerberos客户端
9.3.2配置Hadoop服务标识
9.4Hadoop用户设置
9.5安全Hadoop自动部署
9.6小结

第10章Hadoop生态系统安全保障
10.1为Hadoop生态系统组件配置Kerberos
10.1.1Hive安全设置
10.1.2Oozie安全设置
10.1.3Flume安全设置
10.1.4HBase安全设置
10.1.5Sqoop安全设置
10.1.6Pig安全设置
10.2Hadoop生态系统组件安全保障最佳实践
10.3小结

第11章集成Hadoop与企业安全系统
11.1集成EIM系统
11.1.1配置EIM与Hadoop集成
11.1.2集成基于ActiveDirectory的EIM系统与Hadoop生态系统
11.2从企业网络访问安全Hadoop集群
11.2.1HttpFS
11.2.2HUE
11.2.3KnoxGatewayServer
11.3小结

第12章Hadoop中敏感数据安全保护
12.1Hadoop中敏感数据及保护方法
12.2小结

第13章安全事件与审计日志
13.1Hadoop集群安全事故和事件监控
13.2Hadoop集群审计日志设置
13.3小结

附录Hadoop安全机制解决方案