实战大数据 分布式大数据分析处理系统开发与应用

图书标准信息

• 作者 井超 杨俊 乔钢柱
• 出版社 机械工业出版社
• 出版时间 2023-02
• 版次 1
• ISBN 9787111720652
• 定价 79.90元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 236页
• 字数 374千字

【内容简介】

实战大数据——分布式大数据分析处理系统开发与应用，从大数据技术基础概念出发，介绍了大数据分析的流程和大数据分析处理系统的组成，以及大数据集群的搭建，并在此基础上讲解了多种不同技术构成的离线/实时数据分析系统实战项目。全书共10章，包括大数据概述、大数据分析的基本流程与工具、分布式大数据分析处理系统概述、构建大数据集群环境、构建基于LayUI的集群管理系统、基于HBase的大数据离线分析系统、基于Hive+Hadoop+Spark的大数据离线分析系统、基于MySQL+Spark的大数据离线分析系统、基于Redis+Kafka+Spark的大数据实时分析系统、基于Flume+Kafka+Flink的大数据实时分析系统。
  实战大数据—— 分布式大数据分析处理系统开发与应用，适合从事大数据系统搭建与运维、大数据分析等岗位的技术人员阅读，也适合高等院校大数据相关专业的学生使用。

【目录】

前言

第1章  大数据概述1

1.1  大数据的基本概念1

1.1.1  何谓大数据1

1.1.2  大数据的产生阶段2

1.1.3  大数据的核心技术和计算模式2

1.2  大数据的应用2

1.2.1  大数据的应用场景2

1.2.2  大数据系统的作用2

1.3  大数据技术生态圈3

1.3.1  Linux操作系统3

1.3.2  Hadoop生态系统6

1.3.3  Spark对Hadoop的完善8

1.4  大数据技术的新发展9

1.4.1  Hadoop 3.0的新特性9

1.4.2  大数据引擎Flink10

1.4.3  智能化大数据分析处理11

本章小结12

第2章  大数据分析的基本流程与工具13

2.1  数据采集13

2.1.1  网络爬虫采集数据13

2.1.2  使用Excel爬取数据14

2.2  数据存储16

2.2.1  关系型数据的存储—基于MySQL16

2.2.2  非关系型数据的存储—基于

Redis、HBase17

2.3  数据分析与数据处理18

2.3.1  数据分析常用工具—pandas19

2.3.2  分布式计算框架19

2.3.3  分布式数据挖掘和深度学习20

2.4  数据可视化22

2.4.1  Python数据可视化库Matplotlib22

2.4.2  Python数据可视化库pyecharts22

2.4.3  数据可视化图表库ECharts23

2.4.4  数据可视化工具Apache Superset24

本章小结24

第3章  分布式大数据分析处理系统

概述25

3.1  什么是分布式大数据分析处理

系统25

3.2  分布式大数据分析处理系统的

作用26

3.3  分布式大数据分析处理系统的

应用场景26

3.4  分布式大数据分析处理系统的

构成30

3.4.1  数据采集子系统30

3.4.2  数据存储系统30

3.4.3  数据分析处理系统31

3.4.4  数据可视化系统32

3.5  分布式大数据分析处理系统的

实现32

3.5.1  系统前端—HTML、CSS、jQuery32

3.5.2  系统后端—SpringBoot、SSM33

3.5.3  Web服务器端—Tomcat35

本章小结35

第4章  构建大数据集群环境36

4.1  部署大数据处理环境36

4.1.1  搭建Hadoop集群36

4.1.2  ZooKeeper的安装部署42

4.1.3  Kafka的安装部署45

4.1.4  Spark集群搭建47

4.2  部署大数据存储环境49

4.2.1  MySQL的安装部署49

4.2.2  Hive的安装部署50

4.2.3  HBase的安装部署51

4.2.4  Redis的安装部署55

本章小结57

第5章  构建基于LayUI的集群管理

系统58

5.1  集群管理系统概述58

5.1.1  需求分析58

5.1.2  系统架构—系统+集群+UI59

5.2  系统开发的前期准备操作60

5.2.1  本机环境配置60

5.2.2  集群环境配置62

5.2.3  构建项目工程结构74

5.3  系统的代码实现75

5.3.1  Controller层实现75

5.3.2  构造系统所需工具包90

5.3.3  核心类实现97

5.4  构造系统UI界面—基于

LayUI100

本章小结105

第6章  基于HBase的大数据离线分析

系统106

6.1  系统架构概述106

6.1.1  需求分析106

6.1.2  系统架构—HBase+SpringBoot+

ECharts107

6.2  采集股份转让数据108

6.2.1  使用爬虫抓取数据108

6.2.2  数据采集模块测试111

6.3  数据存储和处理模块实现113

6.3.1  数据库设计113

6.3.2  使用HBase存储并处理数据114

6.3.3  数据存储和处理模块测试119

6.4  数据可视化模块实现120

6.4.1  数据可视化模块后端设计—

基于SpringBoot120

6.4.2  数据可视化模块前端设计—

基于ECharts122

6.4.3  数据可视化页面展示125

本章小结126

第7章  基于Hive+Hadoop+Spark的

大数据离线分析系统127

7.1  系统架构概述127

7.1.1  需求分析127

7.1.2  数据存储—Hive+Hadoop129

7.1.3  数据处理与可视化—

Spark+SSM+ECharts129

7.2  采集旅游相关数据130

7.2.1  使用爬虫采集城市、景点数据130

7.2.2  数据采集模块测试133

7.3  数据存储模块实现135

7.3.1  数据库设计135

7.3.2  使用HDFS和Hive存储数据137

7.3.3  数据存储模块测试138

7.4  数据分析处理模块实现139

7.4.1  Spark处理数据139

7.4.2  分词处理和情感分析—

基于jieba+SnowNLP库139

7.4.3  数据分析处理模块测试142

7.5  数据可视化模块实现143

7.5.1  数据可视化模块后端设计—

基于SSM143

7.5.2  数据可视化模块前端设计—

基于ECharts154

7.5.3  数据可视化页面展示161

本章小结167

第8章  基于MySQL+Spark的大数据

离线分析系统168

8.1  系统架构概述168

8.1.1  需求分析168

8.1.2  数据存储—MySQL170

8.1.3  数据处理与可视化—

Spark Streaming +Apache Superset170

8.2  采集电商数据170

8.2.1  使用爬虫爬取商品信息170

8.2.2  数据采集模块测试182

8.3  数据分析处理模块实现183

8.3.1  数据库设计183

8.3.2  Spark处理商品数据185

8.3.3  数据分析处理模块测试192

8.4  数据可视化模块实现193

8.4.1  使用Apache Superset绘制数据

可视化图表193

8.4.2  数据可视化页面展示193

本章小结196

第9章  基于Redis+Kafka+Spark的

大数据实时分析系统197

9.1  系统架构概述197

9.1.1  需求分析197

9.1.2  数据存储—Redis198

9.1.3  数据处理与可视化—Kafka+

Spark Streaming+SSM+ECharts199

9.2  采集汽车网站数据199

9.2.1  使用爬虫获取汽车和用户

数据199

9.2.2  数据采集模块测试201

9.3  数据存储模块实现201

9.3.1