Hadoop+Spark大数据技术()

同济大学计算机软件与理论专业博士，郑州轻工业大学软件学院教师。研究方向：数据分析、机器学习、并行分布式处理等。近年在软件学报、电子学报、计算机研究与发展、通信学报等核心刊物上发表学术论文10余篇，2019年7月在清华大学出版社以第一作者身份出版高等院校信息技术规划教材《Python语言程序设计（微课版）》

第1章 Hadoop大数据开发环境

1.1 Hadoop概述

1.1.1 Hadoop简介

1.1.2 Hadoop的优势

1.2 在VirtualBox上安装虚拟机

1.2.1 Master节点的安装

1.2.2 复制虚拟机

1.3 Hadoop安装前的准备工作

1.3.1 Linux主机的配置

1.3.2 安装SSH、配置SSH免密码登录

1.3.3 安装Java环境

1.4 Hadoop的安装与配置

1.4.1 Hadoop的安装

1.4.2 Hadoop单机模式的配置

1.4.3 Hadoop伪分布式模式的配置

1.4.4 Hadoop分布式模式的配置

1.5 习题

第2章 HDFS大数据分布式存储

2.1 HDFS的基本特征

2.2 HDFS的存储架构及组件

2.2.1 HDFS的存储架构

2.2.2 数据块

2.2.3 DataNode

2.2.4 NameNode

2.2.5 SecondaryNameNode

2.2.6 心跳消息

2.2.7 客户端

2.3 HDFS的Shell操作

2.3.1 查看命令的使用方法

2.3.2 HDFS常用的Shell操作

2.3.3 HDFS的管理员命令

2.3.4 HDFS的Java API操作

2.3.5 HDFS的Web管理界面

2.4 案例实战：HDFS编程

2.4.1 安装Eclipse

2.4.2 在Eclipse中创建项目

2.4.3 为项目添加需要用到的JAR包

2.4.4 编写Java应用程序

2.4.5 编译与运行程序

2.4.6 应用程序的部署

2.5 习题

第3章 MapReduce分布式计算框架

3.1 MapReduce概述

3.1.1 并发、并行与分布式编程的概念

3.1.2 MapReduce并行编程模型

3.1.3 Map函数和Reduce函数

……

1.融入应用场景，理论讲解与动手实践相结合。

2.适配大数据处理主流技术，提供大量实践案例。

3.基础知识+案例指导+综合应用。

本书结合编者多年的程序设计、系统开发与课程讲授的经验，由浅入深、循序渐进地展开，使读者能够系统、全面地掌握程序设计的理论与应用。

本书主要讲解Hadoop的分布式文件系统、MapReduce编程模型和Spark大数据处理技术。全书共12章，具体包括大数据概述、Hadoop大数据处理架构、HDFS分布式文件系统、MapReduce分布式计算框架、HBase分布式数据库、Spark概述、基于Scala的Spark编程、Windows环境下Spark综合编程、Spark SQL结构化数据处理、Spark Streaming流计算、Spark GraphX图计算、项目实训：《平凡的世界》孙家人物关系图分析。 本书可作为高等院校计算机、信息管理、软件工程、大数据、人工智能等相关专业的大数据课程教材，也可供企业中从事大数据开发的工程师和科技工作者参考。