鲲鹏云大数据服务与基础应用9787576329278

第1章大数据技术概述

1,1引音

1.2大数据时代的机遇和挑战

1.3大数据在各行业的需求和应用

1.4本章小结

第2章Hadoop与鲲鹏大数据架构

2.1引言

2.2 Hadoop 三大组件一-MapReduce

2.3 Hadoop 三大组件-YARN

2.4鲲鹏大数据存储架构原理

2.5鲲鹏 Volcano智能调度框架

2.6鲲鹏云服务基础介绍

2.7本章小结

第3章HDFS 架构

3.1引言

3.2HDFS 概述

3.3 HDFS 设计

3.4 HDFS高级特性

3.5本章小结

第4章分布式协调系统与非关系数据库

4.1引言

4.2 Zookeeper关键特性

4.3 Zookeeper协调

4.4 HBase概述与设计架构

4.5 HBase读写流程

4.6HBase高级特性

4.7本章小结

第5章Hive数据离线处理

5.1引言

5.2 Hive简介

5.3Hive的功能与架构

5.4Hive SQL介绍

5.5本章总结

第6章Spark生态圈

6.1引言

6.2Spark 概述

6.3 Spark的原理与架构

6.4 Spark SQL、DataSet 和 DataFrame

6.5Spark Structured Streaming

6.6Spark Streaming

6.7本章总结

第7章数据采集系统概述

7.1引言

7.2 Flume与Kafka简介

7.3 Flume设计架构与工作原理

7.4 Kakfa设计架构与工作原理

7.5 Flume与 Kafka的区别与应用场景

7.6本章总结

第8章鲲鹏BigData Pro综合案例

8.1引言

8.2大数据日志分析综合项目分析

8.3测试集基础知识

8.4大数据平台的监控

8.5本章总结

第9章鲲鹏社区

9.1引言

9.2鲲鹏社区整体介绍

9.3应用开发

9.4学习发展

9.5鲲鹏产品及解决方案

9.6鲲鹏生态

9.7本章总结

参考文献

第1章大数据技术概述

在万物互联的时代，大数据技术已经广受关注。那么，什么是大数据?为什么要有大数据?大数据的用途是什么?这些问题的答案估计大部分人都不是很清楚。大数据看似很高级，与普通人的生活相去甚远，其实不然!大数据已经存在于生活的各个角落。例如，公共交通部门发行的“一卡通”用的就是大数据技术，它可以积累乘客出行的海量数据。

大数据技术作为一门多领域交叉学科，用来研究如何存放海量的数据，如何进行数据清洗，如何实现数据分析，以及怎样挖掘有价值的数据。本章将会介绍大数据的概念，大数据时代的机遇和挑战，以及大数据在各行各业的需求和应用。

1.1引言

从数字化、信息化、网络化到未来的智能化时代，移动互联网、物联网、云计算、大数据、人工智能等前沿信息技术受到人们的青眯，它们的广泛应用也代表了信息技术发展的大趋势。那么，什么是大数据?大数据的技术范畴及其逻辑关系是什么?估计很多人都是根据自己所熟悉的领域在“盲人摸象”，大数据特征如图1-1所示。

在网络中，大数据并没有一个明确的概念，每个人对大数据的理解都是不同的。大数据是一个有待完善的、新的科目，由于其具有巨大的商业价值，因此现在商用化越来越多，应用范围也越来越大。

不能单纯认为大数据就是一个巨大的数据集，在维基百科中，大数据的概念是“一个超过容忍限度的巨大的数据集”。但如果只是大量数据的集合，那么这些数据是完全没有意义的。大数据不仅应该包含大量的数据，更重要的是如何使用这些数据，并且使其创造出价值。

大数据是一个商业的概念，它是由多个组件共同构成的，一部分组件完成数据的收集工作，一部分组件完成数据的存储和组织工作，剩下一部分组件完成数据的分析工作。组件之间相互协同工作，将数据中的信息进行整理和整合，最终分析出需要的信息，并且创造出价值。

……