大数据技术全解：基础、设计、开发与实践(三分虚拟技术，七分分布式管理，十二分大数据，深入大数据系统设计、环境安装、开发实践，助你

图书标准信息

• 作者 杨巨龙 著
• 出版社 电子工业出版社
• 出版时间 2014-01
• 版次 1
• ISBN 9787121223433
• 定价 59.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 376页
• 字数 613千字
• 正文语种 简体中文

【内容简介】

　　“大数据”一词已成为当下最热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来前所未有的变化，而大数据的采集、存储、计算、分析挖掘、呈现和安全等技术正是实现这一变化的关键。《大数据技术全解：基础、设计、开发与实践》的重点不在于对大数据技术的原理性介绍，而是从实战角度出发，系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解：基础、设计、开发与实践》还着重分享了具体实践中的一些案例，不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值，而且对准备实施大数据系统项目的企业级客户也具有指导作用。
　　《大数据技术全解：基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材，也可作为大数据技术开发培训、大数据系统咨询规划培训的教材，更是大数据领域内一线的需求分析人员、系统分析人员、高级开发人员和开发管理人员的必备参考书。

【作者简介】

　　杨巨龙，1991年毕业于中国人民解放军信息工程大学，分配到兰州军区第二技术侦察局从事技术保障和研发工作，1998年转业到地方工作。20多年来一直从事软件设计、开发和管理方面的工作，曾担任过多家IT公司的技术总监和总架构师。目前主要研究方向包括软件编码哲学、大型软件系统体系架构设计、软件需求分析方法论、大数据和云计算技术等。2009至2010年在清华大学网络行为研究所从事信息咨询规划方面的学习和研究，在研究所期间承担过国家多个部委的“十二五”信息化规划的报告编制工作。

【目录】

第1篇基础篇
第1章大数据的三把利剑
1.1豌豆杂交实验
1.2曹冲称象启示
1.3谷歌的三把利剑
1.4智慧改变世界
第2章企业的大数据观
2.1企业面临的挑战
2.1.1数据能力是核心竞争力
2.1.2从粗放经营到智慧经营
2.1.3技术与商业的双重挑战
2.2企业大数据从哪来
2.2.1来自于主体的产生
2.2.2来自于客体的产生
2.2.3来自于社会的产生
2.3企业大数据如何存储
2.3.1非结构化数据存储
2.3.2结构化数据存储
2.3.3半结构化数据存储
2.3.4大数据存储的问题
2.4企业大数据如何加工
2.4.1分析或挖掘模型设计
2.4.2并行处理程序编码
2.4.3结果在全局中呈现
2.5企业的大数据到哪里去
2.5.1大数据对企业影响深远
2.5.2大数据是一种新商品
2.5.3精准营销需要大数据
2.6企业大数据观总结
第3章大数据和大数据系统
3.1大数据
3.1.1大数据概念
3.1.2大数据的特征
3.1.3数据计量单位
3.1.4大数据来源
3.1.5大数据类型
3.2大数据系统
3.2.1设计目标和原则
3.2.2系统的设计思想
3.2.3系统的逻辑架构
3.2.4与现有系统的关系
3.2.5当前的大数据系统

第2篇技术篇
第4章分布、键值对与族
4.1分布与MapReduce
4.2键值对的奥妙所在
4.3动态数据库表原理
第5章HDFS（分布式文件系统）
5.1设计目标
5.2基本概念
5.2.1块
5.2.2名称节点与数据节点
5.3系统架构
5.3.1逻辑架构
5.3.2物理架构
5.4运行机制
5.4.1文件读取
5.4.2文件写入
5.4.3特别关注
5.5系统功能
5.5.1多文件系统
5.5.2目录管理
5.5.3文件管理
5.5.4文件归档
5.5.5并行复制
5.6系统I/O特性
5.6.1完整性校验
5.6.2压缩与编码解码
5.6.3序列化
5.6.4特殊文件结构
5.7非Java访问接口
5.8系统性能
5.8.1可靠性措施
5.8.2性能优化
第6章MapReduce分布式编程模式
6.1不同于传统
6.2设计思想
6.3基本概念
6.3.1map（）函数
6.3.2reduce（）函数
6.3.3键值对
6.3.4中间结果
6.3.5移动代码
6.3.6作业和任务节点
6.4系统架构
6.4.1逻辑架构
6.4.2物理架构
6.5运行机制
6.5.1作业运行
6.5.2作业调度
6.5.3任务执行
6.5.4状态更新
6.5.5作业完成
6.5.6故障处理
6.6关键技术
6.6.1计数器
6.6.2排序
6.6.3连接
6.6.4shuffle
6.6.5内存处理
6.6.6分布式缓存
6.7类型与格式
6.7.1MR的类型
6.7.2输入格式
6.7.3输出格式
6.8MR的开发
6.8.1开发端环境的建立
6.8.2开发及单元测试
6.8.3本地运行测试
6.8.4集群运行
6.8.5作业调试
6.8.6远程调试
6.8.7作业调优
6.9MR工作流
第7章HBase分布式数据库
7.1设计目标
7.2基本概念
7.2.1逻辑模型
7.2.2物理模型
7.2.3区域
7.2.4基本单元
7.2.5Region服务器
7.2.6Master主服务器
7.2.7.META.元数据表
7.2.8-ROOT-元数据表
7.3系统架构
7.3.1逻辑架构
7.3.2物理架构
7.4运行机制
7.5系统功能
7.5.1用户界面
7.5.2shell操作
7.6库表设计
7.7访问接口

第3篇设计篇
第8章系统设计背景和目标
8.1系统设计背景
8.2系统设计目标
8.2.1存在问题
8.2.2设计目标
第9章系统架构设计
9.1逻辑架构设计
9.1.1系统逻辑架构
9.1.2系统运行逻辑
9.2功能架构设计
9.2.1大数据管理系统的功能
9.2.2ZooKeeper系统的功能
9.2.3Chukwa采集系统的功能
9.2.4Pig系统功能
9.2.5Hive系统功能
9.3数据架构设计
9.3.1数据总体架构
9.3.2分布式文件数据结构
9.3.3分布式数据库数据结构
9.3.4关系型数据库数据构成
第10章运行架构设计
10.1物理架构设计
10.1.1网络拓扑
10.1.2软/硬件选型
10.2集成架构设计
10.2.1总体集成设计
10.2.2专项集成设计
10.3安全架构设计
10.3.1用户层安全
10.3.2应用层安全
10.3.3数据层安全
10.4开发架构设计

第4篇安装篇
第11章安装规划
11.1安装目标
11.2安装步骤
第12章环境准备
12.1主机准备
12.2介质准备
12.3基础安装
12.3.1JDK安装
12.3.2用户创建
12.3.3SSH配置
第13章集群安装
13.1HDFS集群
13.1.1解析配置
13.1.2模板创建
13.1.3复制分发
13.1.4运行启动
13.1.5测试验证
13.2HBase集群
13.2.1解析配置
13.2.2模板创建
13.2.3复制分发
13.2.4运行启动
13.2.5测试验证
13.3ZooKeeper集群
13.3.1解析配置
13.3.2模板创建
13.3.3复制分发
13.3.4运行启动
13.3.5测试验证
第14章分布式应用安装
14.1Pig安装
14.1.1本地安装
14.1.2本地验证
14.1.3集成配置
14.1.4集成验证
14.2Hive安装
14.2.1内嵌安装与验证
14.2.2从内嵌改为独立
14.2.3从独立改为远程
14.3Chukwa安装
14.3.1基础系统安装
14.3.2代理系统安装
14.3.3收集系统的安装
14.3.4作业系统的安装
14.3.5HICC系统的安装
第15章集成联调
15.1集群间的集成联调
15.1.1HBase与HDFS集成联调
15.1.2HBase与ZooKeeper集成联调
15.2分布式应用与集群间的集成联调
15.2.1Pig与HDFS的集成
15.2.2Hive与HDFS的集成
15.2.3Hive与Hbase的集成
15.2.4Chukwa与HDFS的集成
15.3客户端与分布式系统间的集成联调
15.3.1与分布式集群系统的集成
15.3.2与分布式应用系统的集成

第5篇开发篇
第16章大数据系统应用开发思路和环境
16.1总体思路
16.1.1大数据读写应用的开发
16.1.2大数据分析应用的开发
16.2开发环境
16.2.1Plugin插件的安装
16.2.2Hadoop开发环境的配置
16.2.3示例程序验证
第17章HDFS文件读/写应用开发
17.1文件列表
17.2文件读取
17.3文件上传
17.4文件创建
17.5文件写入
17.6文件压缩与解压
17.6.1压缩写入
17.6.2解压后读取
17.7目录创建
17.8文件重命名
17.9删除文件
17.10查看文件时间
17.11查看文件是否存在
17.12查找文件位置
17.13查找集群所有的节点
17.14SequenceFile文件格式转换
17.14.1创建SequenceFile格式的文件
17.14.2读取SequenceFile格式的文件
17.15MapFile文件格式转换
17.15.1创建MapFile格式的文件
17.15.2读取MapFile格式的文件
17.15.3SequenceFile格式转换成MapFile格式
第18章HBase数据库读/写应用开发
18.1创建表
18.2删除表
18.3查询数据库中的表
18.4插入记录
18.5查询记录
18.5.1列族的查询
18.5.2查询所有记录
18.5.3基于行键查询
18.5.4基于标签值查询
18.5.5组合条件查询
18.6修改记录
18.7删除记录
第19章ZooKeeper开发
19.1创建节点
19.2删除节点
19.3加入子节点
19.4列出节点成员
19.5获取节点内容

 

第20章MapReduce开发
第21章Pig开发
第22章Hive开发

第6篇实践篇
第23章企业大数据盘系统
第24章Hadoop的日志分析
参考文献