大数据技术 华为技术有限公司

第 1章 大数据行业与技术趋势 1

1.1　大数据时代　1

1.1.1　大数据的定义　1

1.1.2　大数据分析与传统数据分析　2

1.1.3　大数据时代已经到来　7

1.2　大数据应用领域　8

1.3　大数据时代企业所面临的挑战和机遇　9

第 1章 大数据行业与技术趋势 1

1.1　大数据时代　1

1.1.1　大数据的定义　1

1.1.2　大数据分析与传统数据分析　2

1.1.3　大数据时代已经到来　7

1.2　大数据应用领域　8

1.3　大数据时代企业所面临的挑战和机遇　9

1.3.1　大数据时代企业所面临的挑战　9

1.3.2　大数据时代企业所面临的机遇　10

1.4　大数据代表技术和解决方案　11

1.4.1　大数据代表技术　11

1.4.2　大数据解决方案　16

1.5　本章小结　17

1.6　习题　17

第　2章 分布式文件系统　18

2.1　文件系统概述　18

2.2　HDFS架构　20

2.2.1　HDFS体系结构　21

2.2.2　HDFS中的数据流　23

2.3　HDFS关键特性　26

2.3.1　HDFS高可用性　26

2.3.2　HDFS元数据持久化　28

2.3.3　HDFS联邦　28

2.3.4　HDFS视图文件系统　29

2.3.5　HDFS机架感知策略　30

2.3.6　HDFS集中式缓存管理　31

2.3.7　配置HDFS数据存储策略　32

2.3.8　HDFS同分布　33

2.4　HDFS作　34

2.4.1　使用命令行访问HDFS　34

2.4.2　使用Java API访问HDFS　36

2.5　ZooKeeper　40

2.5.1　ZooKeeper体系结构　40

2.5.2　ZooKeeper读/写机制　41

2.5.3　ZooKeeper关键特性　42

2.5.4　ZooKeeper命令行作　42

2.6　本章小结　42

2.7　习题　43

第3章　Hive分布式数据仓库　44

3.1　数据仓库　44

3.1.1　数据仓库的定义　44

3.1.2　数据仓库和数据库的区别　44

3.1.3　数据仓库的系统结构　45

3.2　Hive概述和体系结构　46

3.2.1　Hive概述　46

3.2.2　Hive的体系结构　46

3.2.3　Hive与传统数据仓库　48

3.2.4　Hive数据存储模型　49

3.3　Hive基本作　50

3.3.1　Hive数据基本作　50

3.3.2　用户自定义函数　57

3.3.3　Hive数据压缩与文件存储格式　58

3.4　Hive增强特性　60

3.4.1　支持HDFS同分布　60

3.4.2　支持列加密功能　61

3.4.3　支持HBase删除功能　61

3.4.4　行分隔符　61

3.4.5　其他增强特性　62

3.5　本章小结　62

3.6　习题　63

第4章　HBase技术原理　64

4.1　NoSQL数据库　64

4.2　HBase概述与基本架构　66

4.2.1　HBase概述　66

4.2.2　HBase数据模型　67

4.2.3　HBase架构　68

4.2.4　HBase关键流程　70

4.3　HBase基本作　75

4.3.1　HBase性能优化　75

4.3.2　HBase常用作　77

4.3.3　HBase Java API作　79

4.4　HBase增强特性　82

4.4.1　支持二级索引　82

4.4.2　二级索引行键去除padding　83

4.4.3　支持多点分割　83

4.4.4　容灾增强　83

4.4.5　HBase MOB　84

4.4.6　HFS　84

4.5　本章小结　85

4.6　习题　85

第5章　MapReduce和YARN技术原理　86

5.1　MapReduce和YARN基本介绍　86

5.1.1　MapReduce基本介绍　86

5.1.2　YARN基本介绍　87

5.2　MapReduce和YARN的功能与架构　87

5.2.1　MapReduce过程详解　87

5.2.2　经典MapReduce任务调度模型　89

5.2.3　YARN的组件架构　90

5.2.4　MapReduce On YARN　91

5.2.5　YARN 容错机制　92

5.3　YARN的资源隔离和调度　92

5.3.1　YARN资源隔离　92

5.3.2　YARN资源调度　94

5.3.3　抢占与延时调度　97

5.3.4　YARN参数配置　98

5.4　MapReduce和YARN增强特性　103

5.4.1　任务优先级调度　103

5.4.2　提交Application可设置超时参数　104

5.4.3　YARN的权限控制　104

5.4.4　支持CPU硬隔离　105

5.4.5　重启性能优化　105

5.5　MapReduce实例　106

5.5.1　Top10视频分析　106

5.5.2　视频类别统计　108

5.6　本章小结　109

5.7　习题　109

第6章　Spark基于内存的分布式计算　110

6.1　Spark简介　110

6.1.1　Spark概念　110

6.1.2　Spark架构　111

6.1.3　Spark核心组件　112

6.2　Spark编程模型　114

6.2.1　核心数据结构RDD　114

6.2.2　RDD上的作　114

6.2.3　RDD的持久化　115

6.2.4　RDD计算工作流　115

6.3　Spark调度机制　116

6.3.1　Spark应用执行流程　116

6.3.2　Spark调度与任务分配　117

6.4　Spark生态圈其他技术　120

6.4.1　Spark SQL　120

6.4.2　Spark Streaming　123

6.5　Spark应用案例　127

6.5.1　Spark Shell　127

6.5.2　WordCount　129

6.6　本章小结　130

6.7　习题　130

第7章　Flink流批一体分布式实时处理引擎　131

7.1　Flink概述　131

7.1.1　Flink的特点　131

7.1.2　Flink的应用场景　133

7.2　Flink原理和架构　133

7.2.1　Flink主要组件　133

7.2.2　Flink的插槽和并行度　134

7.3　Flink部署　136

7.3.1　Standalone部署　137

7.3.2　Flink on YARN部署　139

7.4　Flink时间处理　141

7.4.1　时间语义　141

7.4.2　窗口　142

7.4.3　Watermark　144

7.4.4　延迟处理　145

7.5　Flink的容错机制　146

7.5.1　常用State　146

7.5.2　Checkpoint　148

7.5.3　State Backend　150

7.6　Flink应用案例　152

7.7　本章小结　153

7.8　习题　153

第8章　数据采集与数据装载工具　154

8.1　Flume简介及结构　154

8.1.1　Flume定义　154

8.1.2　Flume组成架构　155

8.1.3　Flume拓扑结构　158

8.2　Flume关键特性　160

8.2.1　Source　160

8.2.2　Sink　163

8.2.3　Channel、与处理器　165

8.3　Flume的安装与配置　166

8.4　数据装载工具Loader　168

8.4.1　Loader简介　168

8.4.2　Loader模块架构　169

8.4.3　Loader作业管理　170

8.4.4　监控作业执行状态　172

8.5　本章小结　173

8.6　习题　173

第9章　Kafka分布式消息订阅系统　175

9.1　Kafka简介　175

9.1.1　Kafka概念　175

9.1.2　Kafka结构　175

9.1.3　Kafka消息传递模式　176

9.1.4　Kafka特点　176

9.2　Kafka组成　178

9.2.1　Kafka组成的概念　178

9.2.2　Kafka组成的功能　179

9.3　Kafka关键流程及数据管理　181

9.3.1　Kafka生产过程分析　181

9.3.2　Broker保存消息　182

9.3.3　Kafka消费过程分析　183

9.3.4　Kafka高可用　184

9.3.5　旧数据处理方式　184

9.4　Kafka应用案例　185

消息队列的应用场景　185

9.5　本章小结　189

9.6　习题　189

第　10章 高可靠集群安全模式　190

10.1　统一身份认证管理　190

10.1.1　统一身份认证　190

10.1.2　统一用户管理系统　191

10.2　目录服务和轻型目录访问协议　192

10.2.1　目录服务　192

10.2.2　轻型目录访问协议　193

10.2.3　LdapServer　194

10.2.4　LdapServer集成设计　198

10.2.5　LdapServer应用优势　198

10.3　单点登录及Kerberos基本原理　199

10.3.1　单点登录　199

10.3.2　KrbServer　201

10.3.3　KrbServer认证流程　202

10.4　华为大数据安全认证场景架构　204

10.4.1　安全认证场景架构　204

10.4.2　Kerberos与LdapServer的业务交互　205

10.4.3　常用配置项及命令　206

10.4.4　集群内服务认证　207

10.5　本章小结　207

10.6　习题　208

第　11章 分布式全文检索Elasticsearch　209

11.1　Elasticsearch简介　209

11.1.1　Elasticsearch特点　209

11.1.2　Elasticsearch应用场景　210

11.1.3　Elasticsearch在大数据解决方案中的位置　210

11.2　Elasticsearch架构　211

11.2.1　Elasticsearch核心概念　211

11.2.2　Elasticsearch集群架构　213

11.2.3　Elasticsearch内部架构　213

11.3　Elasticsearch关键特性　215

11.3.1　倒排序索引　215

11.3.2　路由算法　216

11.3.3　平衡算法　217

11.3.4　扩容策略　218

11.3.5　减容策略　218

11.3.6　索引HBase数据　219

11.3.7　单机多实例部署　219

11.3.8　分片自动跨节点分配策略　220

11.4　本章小结　221

11.5　习题　222

第　12章 Redis内存数据库　223

12.1　Redis简介　223

12.2　Redis架构　225

12.2.1　Redis架构概述　225

12.2.2　Redis架构设计　225

12.2.3　单线程架构　225

12.2.4　集群环境读/写流程分析　226

12.3　Redis数据类型及作命令　227

12.3.1　字符串类型　228

12.3.2　列表类型　229

12.3.3　集合类型　231

12.3.4　散列表类型　232

12.3.5　有序集合类型　233

12.4　Redis的持久化　234

12.4.1　RDB持久化　234

12.4.2　AOF持久化　236

12.5　Redis优化　238

12.6　本章小结　239

12.7　习题　239

第　13章 华为大数据解决方案　240

13.1　ICT行业发展趋势概述　240

13.1.1　概述　240

13.1.2　华为云Stack解决方案　241

13.1.3　华为云Stack功能架构　242

13.1.4　数字场景化解决方案　243

13.1.5　华为云大数据服务　244

13.2　华为大数据服务　245

13.2.1　MRS　245

13.2.2　数据仓库服务　246

13.2.3　云搜索服务　248

13.2.4　图引擎服务　248

13.3　华为智能数据湖运营　249

13.3.1　华为云智能数据湖　249

13.3.2　智能数据湖运营DAYU　250

13.3.3　数据湖治理　251

13.4　本章小结　252

13.5　习题　252

作者介绍