大数据平台运维（中级）

图书标准信息

• 作者 新华三技术有限公司
• 出版社 电子工业出版社
• 出版时间 2021-04
• 版次 1
• ISBN 9787121410307
• 定价 69.80元
• 装帧 其他
• 开本 其他
• 纸张 胶版纸
• 页数 292页
• 字数 489.7千字

【内容简介】

本书为“1 X”职业技能等级证书配套教材，按国家1 X 证书制度试点大数据平台运维职业技能等级标准编写。本书从大数据平台运维工程师的角度，由浅入深、全方位地介绍了大数据平台运维的相关实践知识和核心实操。本书共六部分，包括21章：*部分，大数据平台架构，涉及大数据的特点及发展趋势、大数据的实施和运维流程、大数据的应用场景与案例；第二部分，大数据平台高可用（HA）集群部署，涉及Hadoop集群基础环境的配置、Hadoop HA集群的配置、Hadoop HA集群的启动；第三部分，大数据组件的维护，涉及HBase组件的维护、Hive组件的维护、ZooKeeper组件的维护、ETL组件的维护、Spark组件的维护；第四部分，大数据平台优化，涉及Linux系统优化、HDFS配置优化、MapReduce配置优化、Spark配置优化；第五部分，大数据平台的诊断与处理，涉及Hadoop及生态圈组件负载均衡的诊断与处理、集群节点故障的诊断与处理、集群组件服务故障的诊断与处理；第六部分，大数据平台项目综合案例，涉及数据仓库运维项目实战、金融行业运维项目实战、典型大数据平台监控运维项目实战。本书可作为中职院校和高职院校大数据及计算机类相关专业的教材，也可作为大数据平台运维人员的参考用书。

【作者简介】

紫光股份旗下新华三集团作为数字化解决方案领导者，致力于成为客户业务创新、数字化转型最可信赖的合作伙伴。新华三拥有计算、存储、网络、5G、安全等全方位的数字化基础设施整体能力，提供云计算、大数据、人工智能、工业互联网、信息安全、智能联接、新安防、边缘计算等在内的一站式数字化解决方案，以及端到端的技术服务。同时，新华三也是HPE?服务器、存储和技术服务的中国独家提供商。

【目录】

目录 

第一部分 大数据平台架构 

第1章 大数据的特点及发展趋势 2 

1.1 大数据平台架构概述 2 

1.1.1 大数据的概念 2 

1.1.2 大数据的特征 3 

1.1.3 大数据的处理流程及相关 

技术 4 

1.1.4 大数据平台架构的特点 5 

1.2 大数据平台架构的原理 5 

1.3 大数据的发展历程 6 

1.3.1 大数据的具体发展过程 6 

1.3.2 大数据技术的具体发展历程 7 

1.4 大数据的发展趋势 8 

1.4.1 大数据技术面临的挑战 8 

1.4.2 大数据应用的发展趋势 10 

1.5 本章小结 11 

第2章 大数据的实施和运维流程 12 

2.1 大数据实施和运维工程师的 

工作职责 12 

2.1.1 大数据职位体系 12 

2.1.2 大数据实施工程师的 

工作职责 14 

2.1.3 大数据运维工程师的 

工作职责 15 

2.2 大数据实施和运维工程师的 

工作能力素养要求 15 

2.2.1 大数据实施工程师的 

工作能力素养要求 15 

2.2.2 大数据运维工程师的 

工作能力素养要求 16 

2.3 大数据项目实施的工作流程 18 

2.3.1 大数据项目规划阶段 18 

2.3.2 大数据项目数据治理阶段 19 

2.3.3 大数据项目设计阶段 20 

2.3.4 大数据项目数据应用阶段 21 

2.3.5 大数据项目迭代实施与 

应用推广阶段 22 

2.4 大数据运维的日常工作 23 

2.4.1 应急处置 23 

2.4.2 故障报告 24 

2.4.3 故障检查 24 

2.4.4 故障诊断 25 

2.4.5 故障测试与修复 25 

2.5 本章小结 26 

第3章 大数据的应用场景与案例 27 

3.1 大数据平台架构的典型 

行业应用场景 27 

3.1.1 医疗行业的应用 27 

3.1.2 金融行业的应用 28 

3.1.3 零售行业的应用 29 

3.1.4 地产行业的应用 29 

3.1.5 农业的应用 30 

3.1.6 政务和智慧城市的应用 30 

3.1.7 教育行业的应用 30 

3.1.8 环境行业的应用 30 

3.2 大数据平台架构的典型 

企业应用场景 30 

3.2.1 舆情分析 31 

3.2.2 商业智能 31 

3.3 Hadoop生态圈中行业应用的 

典型实战案例 32 

3.3.1 电信行业——中国移动 

基于Hadoop的大数据应用 32 

3.3.2 金融行业——VISA公司 

的Hadoop应用案例 33 

3.3.3 电商行业——eBay网站 

的Hadoop应用案例 33 

3.4 Hadoop生态圈中企业应用的 

典型实战案例 33 

3.4.1 新华三大数据集成平台 

在大地影院的应用案例背景 33 

3.4.2 大地的应用案例的用户 

痛点分析 34 

3.4.3 大地的应用案例的项目需求 34 

3.4.4 大地的应用案例的数据构成 34 

3.4.5 大地的应用案例的技术 

方案设计与实现 34 

3.4.6 大地的应用案例系统核心组件 

（H3C数据集成组件）简介 36 

3.4.7 大地的应用案例的系统 

优势及成效 36 

3.5 本章小结 36 

第二部分 大数据平台高可用（HA）集群部署 

第4章 Hadoop集群基础环境的配置 38 

4.1 Hadoop集群概述 38 

4.1.1 Hadoop集群的核心组件 38 

4.1.2 Hadoop集群的网络拓扑 

结构 40 

4.2 平台系统的环境设置 41 

4.2.1 Linux系统环境配置 41 

4.2.2 创建hadoop用户 43 

4.3 Linux防火墙 43 

4.3.1 Linux防火墙的种类与特点 44 

4.3.2 Linux防火墙管理 45 

4.4 SELinux 47 

4.4.1 SELinux简介 47 

4.4.2 SELinux的功能 47 

4.4.3 SELinux的配置 47 

4.4.4 关闭集群中的SELinux 47 

4.5 配置集群主机之间时钟同步 48 

4.5.1 直接同步 48 

4.5.2 平滑同步 49 

4.6 SSH无密码登录 50 

4.6.1 生成SSH密钥 50 

4.6.2 交换SSH密钥 51 

4.6.3 验证SSH无密码登录 52 

4.7 Java环境变量配置 52 

4.7.1 JDK功能简介 52 

4.7.2 下载JDK安装包 53 

4.7.3 JDK的安装与环境变量配置 53 

4.8 Hadoop的安装与配置 54 

4.8.1 获取Hadoop安装包 54 

4.8.2 安装Hadoop软件 54 

4.9 本章小结 55 

第5章 Hadoop HA集群的配置 56 

5.1 Hadoop HA集群的特点 56 

5.2 Hadoop HA集群的实现原理 57 

5.2.1 HDFS HA的实现原理 57 

5.2.2 YARN HA的实现原理 58 

5.3 ZooKeeper的特点 58 

5.3.1 ZooKeeper的功能原理 58 

5.3.2 ZooKeeper集群节点组成 59 

5.3.3 ZooKeeper的同步机制 60 

5.3.4 ZooKeeper的选举机制 60 

5.4 ZooKeeper HA集群 61 

5.4.1 在master节点上安装 

部署ZooKeeper 61 

5.4.2 在master节点上配置 

ZooKeeper文件参数 61 

5.4.3 分发ZooKeeper给slave1节点 

和slave2节点 62 

5.5 Hadoop HA集群的文件参数 64 

5.5.1 在master节点上配置 

Hadoop HA集群的文件参数 64 

5.5.2 分发hadoop相关文件给 

slave1节点和slave2节点 68 

5.6 JournalNode服务 69 

5.6.1 JournalNode服务的原理 69 

5.6.2 启动JournalNode服务 70 

5.7 本章小结 70 

第6章 Hadoop HA集群的启动 71 

6.1 HDFS的格式化 71 

6.1.1 active NameNode的格式化 

和启动 71 

6.1.2 standby NameNode的格式化 

和启动 72 

6.1.3 格式化ZKFC 73 

6.2 Hadoop HA集群的启动流程 73 

6.2.1 启动HDFS 73 

6.2.2 启动YARN 74 

6.2.3 启动MapReduce的 

历史服务器 75 

6.3 启动后验证 75 

6.3.1 查看进程 75 

6.3.2 查看端口 76 

6.3.3 运行测试 77 

6.4 Hadoop HA集群的主备切换 78 

6.4.1 Hadoop HA集群的切换 

机制 78 

6.4.2 手动切换测试 79 

6.4.3 自动切换测试 79 

6.5 本章小结 81 

第三部分 大数据组件的维护 

第7章 HBase组件的维护 84 

7.1 NoSQL与传统RDBMS的 

差异 84 

7.1.1 传统RDBMS及其 

应用场景 84 

7.1.2 NoSQL简介 85 

7.2 HBase组件的原理 86 

7.2.1 HBase简介 86 

7.2.2 HBase的体系结构 86 

7.3 HBase的分布式部署 87 

7.3.1 HBase集群环境准备 87 

7.3.2 HBase的分布式安装 88 

7.4 HBase库/表管理 90 

7.4.1 HBase库管理 90 

7.4.2 HBase表管理 91 

7.5 HBase数据操作 93 

7.5.1 基础操作 93 

7.5.2 模糊查询 94 

7.5.3 批量导入/导出 95 

7.6 HBase错误恢复 97 

7.7 退出HBase库 98 

7.8 卸载HBase库 98 

7.9 本章小结 98 

第8章 Hive组件的维护 99 

8.1 Hive的架构 99 

8.1.1 Hive简介 99 

8.1.2 Hive的数据类型 100 

8.2 分布式部署Hive 101 

8.2.1 环境需求 101 

8.2.2 MySQL的安装与启动 102 

8.2.3 配置Hive参数 103 

8.2.4 Beeline CLI远程访问Hive 105 

8.3 Hive库操作 106 

8.4 Hive表操作 107 

8.4.1 创建表 107 

8.4.2 查看与修改表 108 

8.4.3 删除表和退出Hive 108 

8.5 Hive数据操作 109 

8.5.1 数据导入 109 

8.5.2 查询 110 

8.6 Hive宕机恢复 111 

8.6.1 数据备份 111 

8.6.2 基于HDFS的数据恢复 112 

8.6.3 基于MySQL元数据 

生成表结构 112 

8.7 退出和卸载Hive组件 115 

8.7.1 退出Hive 115 

8.7.2 卸载Hive 115 

8.8 本章小结 115 

第9章 ZooKeeper组件的维护 116 

9.1 ZooKeeper基础 116 

9.1.1 ZooKeeper简介 116 

9.1.2 ZooKeeper中的重要概念 117 

9.2 ZooKeeper的功能及其优点 

和局限性 117 

9.2.1 ZooKeeper的功能 117 

9.2.2 ZooKeeper的优点 118 

9.2.3 ZooKeeper的局限性 118 

9.3 ZooKeeper的架构 118 

9.4 ZooKeeper仲裁模式 119 

9.5 配置ZooKeeper 120 

9.6 配置ZooKeeper集群 120 

9.6.1 集群环境准备 120 

9.6.2 ZooKeeper集群的安装 121 

9.7 Zookeeper集群的决策选举 122 

9.8 ZooKeeper组件管理 123 

9.8.1 JMX管理框架 123 

9.8.2 ZooKeeper Shell操作 125 

9.9 本章小结 127 

第10章 ETL组件的维护 128 

10.1 Sqoop概述与架构 128 

10.1.1 Sqoop概述 128 

10.1.2 Sqoop的架构 129 

10.2 Flume概述与架构 130 

10.2.1 Flume概述 130 

10.2.2 Flume的架构 130 

10.3 Kafka概述与架构 131 

10.3.1 Kafka概述 131 

10.3.2 Kafka的架构 132 

10.4 Sqoop导入数据 133 

10.5 Sqoop导出数据 134 

10.6 修改控制Sqoop组件的 

参数 134 

10.7 Flume组件代理配置 136 

10.8 Flume组件的数据获取 137 

10.9 Flume组件管理 137 

10.10 Kafka组件的部署 138 

10.11 Kafka组件的验证部署 139 

10.12 Kafka组件的数据处理 140 

10.13 本章小结 141 

第11章 Spark组件的维护 142 

11.1 Spark概述与架构 142 

11.1.1 Spark概述 142 

11.1.2 Spark的架构 144 

11.2 Spark的工作原理 146 

11.3 Scala的安装部署 148 

11.3.1 Scala简介 148 

11.3.2 Scala的安装 148 

11.4 安装Spark 149 

11.4.1 Spark模式介绍 149 

11.4.2 Spark的安装部署 151 

11.5 修改Spark参数 154 

11.5.1 Spark属性 154 

11.5.2 环境变量 155 

11.5.3 Spark日志 156 

11.5.4 覆盖配置目录 156 

11.6 Spark Shell编程 156 

11.6.1 Spark Shell概述 156 

11.6.2 Spark Shell操作 156 

11.7 Spark的基本管理 158 

11.8 本章小结 160 

第四部分 大数据平台优化 

第12章 Linux系统优化 162 

12.1 Linux系统优化工具 162 

12.1.1 free命令 162 

12.1.2 top命令 163 

12.2 优化Linux系统的内存 164 

12.2.1 将hadoop用户添加到 

sudo组中 164