Spark大数据处理技术（）

图书标准信息

• 作者 刘仁山
• 出版社 水利水电出版社
• 出版时间 2022-02
• 版次 1
• ISBN 9787522604855
• 定价 48.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 268页
• 字数 418千字
• 丛书 普通高等教育数据科学与大数据技术专业教材

【内容简介】

本书面向大数据技术专业，遵循知识性、实用性、系统性、条理性、连贯性和先进性的原则，力求激发读者的兴趣，注重实践性环节教学，注重各知识点之间的衔接，精心组织内容，做到由浅入深、突出重点。本章共 9 章，第 1 章为 Spark 基础，主要包括 Spark 基础知识、Spark 应用场景以及 Spark 生态系统等内容；第 2 章为 Scala 语言基础和面向对象编程，包括 Scala 编程基础、Scala 数组和集合以及映射、Scala 对象和多继承等内容；第 3 章为 Spark 设计与运行原理，包括 Spark 架构、Spark Core 组成、Spark编程模型和计算模型等内容；第4章为Spark环境搭建和使用，包括Spark系列软件环境配置（JDK、Hadoop、MySQL-Server、Hive、ZooKeeper 、Scala、Kafka、Spark）和 Spark-shell 交互式命令工具使用等内容；第 5 章为 Spark RDD 弹性分布式数据集，包括 RDD 创建方式、RDD 转换算子和行动算子操作方法等内容；第 6 章为 Spark SQL 结构化数据处理引擎，包括 DataFrame 和 DataSet 的创建和操作以及利用 Spark SQL 操作 MySQL 数据源等内容；第 7 章为 Spark Streaming 实时流处理引擎，包括Spark Streaming 程序开发、DStream 高级数据源使用和数据转换操作等内容；第 8 章为 Spark MLlib 机器学习，包括机器学习基础、Spark MLlib 机器学习库和常用算法等内容；第 9 章为订单交易监控系统，主要完成订单交易实时监控平台的搭建，通过综合案例全面应用了 Spark 大数据处理技术中几乎所有知识点，帮助读者学习使用 Spark 进行大数据技术开发和应用。本书可作为本专科或高职院校学生大数据技术课程教材，也可供大数据技术爱好者或其他对大数据技术感兴趣的人员学习。本书配有电子课件，读者可以从中国水利水电出版社网站（www.waterpub.com.cn）或万水书苑网站（www.wsbookshow.com）免费下载。

【目录】

前言

第1章 Spark基础

1.1 初识Spark

1.1.1 Spark简介

1.1.2 Spark发展

1.2 Spark应用场景

1.3 Spark生态系统

1.4 Spark与Hadoop对比

1.5 Spark多语言编程

本章小结

练习一

第2章 Scala语言基础

2.1 Scala语言概述

2.1.1 Scala语言简介

2.1.2 Scala编译器安装

2.2 Scala命名规范

2.2.1 基本语法

2.2.2 Scala关键字

2.2.3 Scala注释

2.3 变量

2.3.1 val变量

2.3.2 var变量

2.4 数据类型和运算符

2.4.1 数据类型

2.4.2 运算符

2.5 Scala控制结构

2.5.1 if…else语句

2.5.2 循环语句

2.6 函数的定义和调用

2.6.1 内置函数和自定义函数

2.6.2 函数的参数

2.7 Scala的lazy值

2.8 异常Exception的处理

2.9 数组

2.9.1 定长数组和变长数组

2.9.2 遍历数组

2.9.3 数组转换

2.9.4 数组常用方法

2.10 元组

2.10.1 创建元组

2.10.2 元组的访问和遍历

2.10.3 拉链操作

2.11 集合

2.11.1 列表（List）

2.11.2 集合（Set）

2.11.3 映射（Map）

2.12 类

2.12.1 类的定义

2.12.2 get方法和set方法

2.12.3 构造器

2.12.4 内部类

2.13 单例对象和伴生对象

2.13.1 单例（object）对象

2.13.2 伴生对象

2.13.3 apply方法

2.14 Scala中的继承

2.14.1 父类具有无参构造器的继承

2.14.2 父类具有带参构造器的继承

2.15 抽象

2.16 Scala中的特质

2.16.1 将特质作为接口使用

2.16.2 在特质中定义具体的方法

2.16.3 混合使用特质的具体方法和抽象方法

2.17 Scala包和引用

2.17.1 创建包

2.17.2 引用

2.17.3 包重命名和隐藏方法

本章小结

练习二

第3章 Spark设计与运行原理

3.1 Spark架构设i计

3.1.1 Spark相关术诱

3.1.2 Spark架构

3.1.3 Spark运行流程

3.2 Spark核心功能

3.2.1 Spark Core组成

3.2.2 Spark编程模型

3.2.3 Spark计算模型

3.3 Spark运行模式

3.3.1 Local（本地）模式

3.3.2 Standalone（独立）模式

3.3.3 Mesos（Spark on Mesos）模式

3.3.4 Yarm（Spark on Yam）模式

本章小结

练习三

第4章 Spark环境搭建和使用

4.1 Spark开发环境阀述

4.2 操作系统及其网络环境准备

4.2.1 操作系统环境

4.2.2 远程登录

4.2.3 Limux系统软件源配置

4.2.4 安装和配置第二台和第三台虚拟机

4.3 Spark环境搭建

4.3.1 安装JDK

4.3.2 安装Hadoop

4.3.3 安装MySQL Server

4.3.4 安装Hive

4.3.5 安装ZooKeeper

4.3.6 安装Scala

4.3.7 安装Kafka

4.3.8 安装Spark

4.4 Spark集群环境测试

4.4.1 使用Spark-submit提交任务

4.4.2 使用Spark-shell交互式命令工具

本章小结

练习四

策5章 Spark RDD弹性分布式数据集

5.1 RDD简介

5.1.1 RDD的特征

5.1.2 词频统计（WordCount）案例实现过程

S.1.3 RDD的创建

5.2 常用操作

5.2.1 常用的转换

5.2.2 常用的动作

5.2.3 实例操作

5.3 RDD的分区

5.3.1 分区的概念

5.3.2 分区原则和方法

3.4 持久化

5.4.1 持久化存储级别

5.4.2 持久化存储级别的选择

5.5 容错机制

3.6 综合实例

本章小结

练习五

第6章 Spark SQL结构化数据处理引单

6.1 Spark SQL的基础知识

6.1.1 Spark SQL简介

6.1.2 Spark SQL数据抽象

6.1.3 程序主入口Spark:Session

6.2 DataFrame

6.2.1 DataFrame简介

6.2.2 创建DataFrame

6.2.3 DataFrame查看操作

6.2.4 DataFrame查询操作

6.2.5 DataFrame输出操作

6.3 DataSet

6.3.1 DataSet简介

6.3.2 创建DataSet

6.4 Spark SQL操作数据源

本章小结

练习六

第7章 Spark Streaming实时流处理引单

7.1 离线计算与实时计算

7.1.1 离线计算

7.1.2 实时计算

7.1.3 离线计算与实时计算比较

7.2 初探Spark Streaming

7.2.1 Spark Streaming简介

7.2.2 Spark Streaming工作原理

7.2.3 Spark Streaming入门程序

7.3 Spark Streaming程序开发

7.3.1 Spark Streaming环境准备

7.3.2 Spark Streaming项目搭建

7.3.3 Spark Streaming核心代码

7.3.4 Spark Streaming启动及测试

7.4 DStream输入

7.4.1 离散流（DStream）

7.4.2 DStream输入源

7.4.3 文件流数据源

7.4.4 RDD队列流

7.4.5 Spark Streaming整合Flume

7.4.6