Spark大数据处理技术

前言

第1章 Spark基础

 1.1 初识Spark

 1.1.1 Spark简介

 1.1.2 Spark发展

 1.2 Spark应用场景

 1.3 Spark生态系统

 1.4 Spark与Hadoop对比

 1.5 Spark多语言编程

 本章小结

 练习一

第2章 Scala语言基础

 2.1 Scala语言概述

 2.1.1 Scala语言简介

 2.1.2 Scala编译器安装

 2.2 Scala命名规范

 2.2.1 基本语法

 2.2.2 Scala关键字

 2.2.3 Scala注释

 2.3 变量

 2.3.1 val变量

 2.3.2 var变量

 2.4 数据类型和运算符

 2.4.1 数据类型

 2.4.2 运算符

 2.5 Scala控制结构

 2.5.1 if…else语句

 2.5.2 循环语句

 2.6 函数的定义和调用

 2.6.1 内置函数和自定义函数

 2.6.2 函数的参数

 2.7 Scala的lazy值

 2.8 异常Exception的处理

 2.9 数组

 2.9.1 定长数组和变长数组

 2.9.2 遍历数组

 2.9.3 数组转换

 2.9.4 数组常用方法

 2.10 元组

 2.10.1 创建元组

 2.10.2 元组的访问和遍历

 2.10.3 拉链操作

 2.11 集合

 2.11.1 列表（List）

 2.11.2 集合（Set）

 2.11.3 映射（Map）

 2.12 类

 2.12.1 类的定义

 2.12.2 get方法和set方法

 2.12.3 构造器

 2.12.4 内部类

 2.13 单例对象和伴生对象

 2.13.1 单例（object）对象

 2.13.2 伴生对象

 2.13.3 apply方法

 2.14 Scala中的继承

 2.14.1 父类具有无参构造器的继承

 2.14.2 父类具有带参构造器的继承

 2.15 抽象

 2.16 Scala中的特质

 2.16.1 将特质作为接口使用

 2.16.2 在特质中定义具体的方法

 2.16.3 混合使用特质的具体方法和抽象方法

 2.17 Scala包和引用

 2.17.1 创建包

 2.17.2 引用

 2.17.3 包重命名和隐藏方法

 本章小结

 练习二

第3章 Spark设计与运行原理

 3.1 Spark架构设i计

 3.1.1 Spark相关术诱

 3.1.2 Spark架构

 3.1.3 Spark运行流程

 3.2 Spark核心功能

 3.2.1 Spark Core组成

 3.2.2 Spark编程模型

 3.2.3 Spark计算模型

 3.3 Spark运行模式

 3.3.1 Local（本地）模式

 3.3.2 Standalone（独立）模式

 3.3.3 Mesos（Spark on Mesos）模式

 3.3.4 Yarm（Spark on Yam）模式

 本章小结

 练习三

第4章 Spark环境搭建和使用

 4.1 Spark开发环境阀述

 4.2 操作系统及其网络环境准备

 4.2.1 操作系统环境

 4.2.2 远程登录

 4.2.3 Limux系统软件源配置

 4.2.4 安装和配置第二台和第三台虚拟机

 4.3 Spark环境搭建

 4.3.1 安装JDK

 4.3.2 安装Hadoop

 4.3.3 安装MySQL Server

 4.3.4 安装Hive

 4.3.5 安装ZooKeeper

 4.3.6 安装Scala

 4.3.7 安装Kafka

 4.3.8 安装Spark

 4.4 Spark集群环境测试

 4.4.1 使用Spark-submit提交任务

 4.4.2 使用Spark-shell交互式命令工具

 本章小结

 练习四

策5章 Spark RDD弹性分布式数据集

 5.1 RDD简介

 5.1.1 RDD的特征

 5.1.2 词频统计（WordCount）案例实现过程

 S.1.3 RDD的创建

 5.2 常用操作

 5.2.1 常用的转换

 5.2.2 常用的动作

 5.2.3 实例操作

 5.3 RDD的分区

 5.3.1 分区的概念

 5.3.2 分区原则和方法

 3.4 持久化

 5.4.1 持久化存储级别

 5.4.2 持久化存储级别的选择

 5.5 容错机制

 3.6 综合实例

 本章小结

 练习五

第6章 Spark SQL结构化数据处理引单

 6.1 Spark SQL的基础知识

 6.1.1 Spark SQL简介

 6.1.2 Spark SQL数据抽象

 6.1.3 程序主入口Spark:Session

 6.2 DataFrame

 6.2.1 DataFrame简介

 6.2.2 创建DataFrame

 6.2.3 DataFrame查看操作

 6.2.4 DataFrame查询操作

 6.2.5 DataFrame输出操作

 6.3 DataSet

 6.3.1 DataSet简介

 6.3.2 创建DataSet

 6.4 Spark SQL操作数据源

 本章小结

 练习六

第7章 Spark Streaming实时流处理引单

 7.1 离线计算与实时计算

 7.1.1 离线计算

 7.1.2 实时计算

 7.1.3 离线计算与实时计算比较

 7.2 初探Spark Streaming

 7.2.1 Spark Streaming简介

 7.2.2 Spark Streaming工作原理

 7.2.3 Spark Streaming入门程序

 7.3 Spark Streaming程序开发

 7.3.1 Spark Streaming环境准备

 7.3.2 Spark Streaming项目搭建

 7.3.3 Spark Streaming核心代码

 7.3.4 Spark Streaming启动及测试

 7.4 DStream输入

 7.4.1 离散流（DStream）

 7.4.2 DStream输入源

 7.4.3 文件流数据源

 7.4.4 RDD队列流

 7.4.5 Spark Streaming整合Flume

 7.4.6

本书面向大数据技术专业，遵循知识性、实用性、系统性、条理性、连贯性和优选性的原则，力求激发读者的兴趣，注重实践性环节教学，注重各知识点之间的衔接，精心组织内容，做到由浅入深、突出重点。 本章共9章，第1章为Spark基础，主要包括Spark基础知识、Spark应用场景以及Spark生态系统等内容；第2章为Scala语言基础和面向对象编程，包括Scala编程基础、Scala数组和集合以及映射、Scala对象和多继承等内容；第3章为Spark设计与运行原理，包括Spark架构、Spark Core组成、Spark编程模型和计算模型等内容；第4章为Spark环境搭建和使用，包括Spark系列软件环境配置（JDK、Hadoop、MySQLServer、Hive、ZooKeeper、Scala、Kafka、Spark）和Spark-shell交互式命令工具使用等内容；第5章为Spark RDD弹性分布式数据集，包括RDD创建方式、RDD转换算子和行动算子操作方法等内容；第6章为Spark SQL结构化数据处理引擎，包括DataFrame和DataSet的创建和操作以及利用Spark SQL操作MySQL数据源等内容；第7章为Spark Streaming实时流处理引擎，包括Spark Streaming程序开发、DStream不错数据源使用和数据转换操作等内容；第8章为Spark MLlib机器学习，包括机器学习基础、Spark MLlib机器学习库和常用算法等内容；第9章为订单交易监控系统，主要完成订单交易实时监控台的搭建，通过综合案例全面应用了Spark大数据处理技术中几乎所有知识点，帮助读者学习使用Spark进行大数据技术开发和应用。 本书可作为本专科或高职院校学生大数据技术课程教材，也可供大数据技术爱好者或其他对大数据技术感兴趣的人员学习。 本书配有电子课件，读者可以从中国水利水电出版社网站（www.waterpub.com.cn）或万水书苑网站（www.wsbookshow.com）免费下载。