Spark大数据实时分析实战

图书标准信息

• 作者 付雯、聂强 编
• 出版社 北京理工大学出版社
• 出版时间 2020-12
• 版次 1
• ISBN 9787568288446
• 定价 75.00元
• 装帧 平装
• 开本 16开
• 页数 251页
• 字数 375千字

【内容简介】

本书分为六个项目，通过真实大数据实时分析项目的导入，引导读者完成大数据实时分析台spark的搭建，通过对基于hadoop生态圈中yarn资源调度框架，搭建spark志管理系统，搭建kafka分布式消息系统，在工作中实现使用sparkstreaming实时读取kafka中的数据进行实时处理。本书适用于大数据技术与应用、数据科学与大数据技术等电子信息类专业的教材，也可作为工程技术人员的参书。

【目录】

项目一初识spark技术

任务1.1数据处理系统

1.1.1数据存储技术

1.1.2数据分析技术

1.1.3批数据和实时数据

1.1.4数据价值挖掘

任务1.2实时数据处理

1.2.1实时数据的价值

1.2.2实时数据处理技术

1.2.3spark实时数据处理

项目二spark集群的构建与安装

任务2.1spark集群搭建

2.1.1台选择

2.1.2软件选择

2.1.3spark集群构建流程

任务2.2spark集群规划

2.2.1spark集群节点划分

2.2.2软件要求

2.2.3网络拓扑结构规划

任务2.3spark安装准备

2.3.1k安装

2.3.2节点间的配置

2.3.3spark安装包下载

任务2.4spark集群搭建

2.4.1配置master节点

2.4.2配置worker节点

2.4.3分发安装包

2.4.4启动集群

任务2.5验证spark

2.5.1验证spark进程

2.5.2验证webui界面

2.5.3验证集群功能

任务2.6spark客户端搭建

2.6.1客户端介绍

2.6.2客户端搭建及使用

项目三spark基于yarn搭建

任务3.1基于yarn构建介绍

3.1.1基于yarn搭建环境配置

3.1.2hadoop集群

3.1.3启动hadoop集群

3.1.4验证hadoop集群节点

任务3.2基于yam搭建

3.2.1节点划分配置

3.2.2配置sparkonyarn

3.2.3验证sparkonyarn

项目四志服务器搭建

任务4.1志服务器配置

4.1.1hdfs配置

4.1.2spark配置

4.1.3启动志服务器

4.1.4查看志

任务4.2验证志服务器

4.2.1spark-shell介绍

4.2.2查看运行志

4.2.3启动志服务器

4.2.4查看志

项目五kafka集群的构建与安装

任务5.1集群搭建

5.1.1运行台支持

5.1.2软件环境

5.1.3集群构建流程

任务5.2集群规划

5.2.1集群节点划分

5.2.2软件选择

5.2.3网络结构规划

任务5.3安装准备

5.3.1节点密

5.3.2安装zookeeper协调系统

任务5.4kafka集群搭建

5.4.1节点配置

5.4.2集群脚本配置

5.4.3分发安装包

5.4.4集群启动

项目六kafka集群测试

任务6.1分布式消息系统

6.1.1kafka介绍

6.1.2kafka架构

6.1.3kafka的特点

6.1.4kafka应用场景

任务6.2测试kafka

6.2.1查看集群中的topic

6.2.2创建topic

6.2.3向topic生产消息

6.2.4从topic消费消息

6.2.5offset查看

6.2.6删除topic信息

任务6.3测试kafkaleader

6.3.1leader均衡机制

6.3.2测试leader均衡机制