大数据分析及应用项目教程（Spark SQL）

图书标准信息

• 作者 许慧
• 出版社 电子工业出版社
• 出版时间 2023-09
• 版次 1
• ISBN 9787121463631
• 定价 55.00元
• 装帧 其他
• 开本 16开
• 页数 224页
• 字数 341千字

【内容简介】

本书以项目任务为载体串联知识与技能，介绍基于 Spark SQL 技术的大数据分析方法，培养 学习者使用 Spark SQL 技术解决实际数据分析问题的能力，主要内容有大数据分析概述、实践环 境准备、学生信息处理分析、房产大数据分析与探索、电商大数据分析与探索、Zepplin 数据可视 化。在实现任务的过程中详细阐述了 Scala 语言基础、Spark SQL 编程分析、Spark SQL 数据分 析与探索、数据可视化等知识。本书适合作为高等职业院校计算机、大数据、人工智能及相关专业的教材或参考书，也可以 作为数据分析人员的参考书。

【作者简介】

许慧（1991.10—），女，浙江大学空天信息技术硕士，衢州职业技术学院专职教师，从事大数据技术教学和科研工作。2022年主持\"浙江省高等学校课程思政示范课程项目”《大数据集群环境搭建实训》课程建设项目。主持\"衢州职业技术学院课程思政示范课程项目”《大数据挖掘与分析》课程建设。主持2019年衢州市指导性科技计划项目\"基于大数据的衢州电商客户数据信息安全技术研究”。

【目录】

第 1 章大数据分析概述 ..........................................................................................1

任务 1.1    关于大数据分析............................................................................................. 1 

情境导入 ........................................................................................................ 1 

学习目标和要求 ............................................................................................ 1

1.1.1什么是大数据分析 ............................................................................ 2

1.1.2大数据分析工具 ................................................................................ 5

1.1.3大数据分析可视化 ............................................................................ 8 

任务 1.2认识 Spark SQL ............................................................................................. 8 

情境导入 ........................................................................................................ 8 

学习目标和要求 ............................................................................................ 8

1.2.1Spark SQL 的背景简介 ..................................................................... 9

1.2.2    Spark SQL 的运行原理 ................................................................... 10 

脑图小结......................................................................................................................... 14 

章节练习......................................................................................................................... 16

第 2 章实践环境准备 ...........................................................................................17

任务 2.1    Hadoop 集群环境搭建 ................................................................................. 17 

情境导入 ...................................................................................................... 17 

学习目标和要求 .......................................................................................... 18

2.1.1环境准备 .......................................................................................... 18

2.1.2安装 Hadoop..................................................................................... 35

2.1.3启动 Hadoop 集群............................................................................ 45

2.1.4运行经典案例 wordcount ................................................................ 48 

任务 2.2Spark 集群部署与使用 ................................................................................ 50 

情境导入 ...................................................................................................... 50 

学习目标和要求 .......................................................................................... 50

2.2.1安装 Spark ........................................................................................ 50

2.2.2启动 Spark ........................................................................................ 54

2.2.3Spark 集群测试 ................................................................................ 56

任务 2.3    安装 Scala ..................................................................................................... 60 

情境导入 ...................................................................................................... 60 

学习目标和要求 .......................................................................................... 60

2.3.1下载 Scala 安装包............................................................................ 61

2.3.2    Scala 安装配置................................................................................. 61 

脑图小结......................................................................................................................... 62 

章节练习......................................................................................................................... 63

第 3 章学生信息处理分析 ....................................................................................65

任务 3.1    班级基本情况分析....................................................................................... 66

 情境导入 ...................................................................................................... 66 

学习目标和要求 .......................................................................................... 66

3.1.1学生所属班级和男女生数量 .......................................................... 67

3.1.2以班级为单位整理学生信息 .......................................................... 84 

任务 3.2学生基本情况分析....................................................................................... 96 

情境导入 ...................................................................................................... 96 

学习目标和要求 .......................................................................................... 96

3.2.1学生特长情况分析 .......................................................................... 96

3.2.2    学生成绩情况分析 ........................................................................ 102 

脑图小结....................................................................................................................... 105 

章节练习....................................................................................................................... 106

第 4 章房产大数据分析与探索 ...........................................................................108

任务 4.1    某房产公司销售人员业绩分析............................................................... 108 

情境导入 .................................................................................................... 108 

学习目标和要求 ........................................................................................ 110

4.1.1数据集处理 .................................................................................... 110

4.1.2数据操作分析 ................................................................................ 116 

任务 4.2某城市近年房产销售状况分析................................................................. 131 

情境导入 .................................................................................................... 131

学习目标和要求 ........................................................................................ 132

4.2.1数据准备 ........................................................................................ 132

4.2.2数据探索与分析 ............................................................................ 134

4.2.3总结分析 ........................................................................................ 139

脑图小结....................................................................................................................... 139

章节练习....................................................................................................................... 140

第 5 章电商大数据分析与探索 ...........................................................................141

任务 5.1    “女装电子商务评论”数据分析........................................................ 141 

情境导入 .................................................................................................... 141 

学习目标和要求 ........................................................................................ 142

5.1.1数据准备 ..................................................................................... 142

5.1.2数据清洗 ..................................................................................... 152

5.1.3数据转换 ..................................................................................... 157

5.