Spark大数据开发9787576505917

唐春玲，1981年2月出生，女，吉林省汪清人，工学硕士，现为重庆工商职业学院电子信息工程学院副教授，国家“双高计划”高水平专业群建设小组核心成员，校专业带头人。主要从事软件技术，数字信号处理，大数据及人工智能算法等方向研究。曾获重庆市教学成果奖两项，主持市教委科研项目两项、出版3本教材，主持两门校网络课程资源建设，发表论文10余篇。 国家“双高计划”高水平专业群建设小组核心成员 首批国家级职业教育

学习情境一 搭建Spark开发环境

1．1 典型工作环节1：需求分析

1．2 典型工作环节2：步骤分析

1．3 典型工作环节3：认识Spark

1．4 典型工作环节4：调研Spark应用场景

1．5 典型工作环节5：准备集群系统

1．6 典型工作环节6：搭建Spark平台环境

1．7 归纳总结与拓展提高

1．8 课后练习

学习情境二 使用Scala统计平台数据

2．1 典型工作环节1：需求分析

2．2 典型工作环节2：步骤分析

2．3 典型工作环节3：优选系统开发语言

2．4 典型工作环节4：了解Scala语言

2．5 典型工作环节5：搭建开发环境

2．6 典型工作环节6：学习Scala语言

2．7 典型工作环节7：统计大数据平台岗位数据

2．8 归纳总结与拓展提高

2．9 课后练习

学习情境三 使用RDD统计平台数据

3．1 典型工作环节1：需求分析

3．2 典型工作环节2：步骤分析

3．3 典型工作环节3：学习RDD架构原理与入门

3．4 典型工作环节4：学习Spark RDD编程基础

3．5 典型工作环节5：使用RDD统计平台职位数据

3．6 归纳总结与拓展提高

3．7 课后练习

学习情境四 使用Spark SQL分析用人单位数据

4．1 典型工作环节1：需求分析

4．2 典型工作环节2：步骤分析

4．3 典型工作环节3：认识Hive和Spark SQL

4．4 典型工作环节4：系统开发环境搭建

4．5 典型工作环节5：导入数据到Hive

4．6 典型工作环节6：使用Spark SQL分析平台数据

4．7 归纳总结与拓展提高

4．8 课后练习

学习情境五 使用Spark Streaming分析平台数据

5．1 典型工作环节1：需求分析

5．2 典型工作环节2：步骤分析

5．3 典型工作环节3：学习流计算

5．4 典型工作环节4：学习Spark Streaming

5．5 典型工作环节5：系统开发环境搭建

5．6 典型工作环节6：使用Spark Streaming分析平台数据

5．7 归纳总结与拓展提高

5．8 课后练习

学习情境六 使用GraphX与ML分析平台数据

6．1 典型工作环节1：需求分析

6．2 典型工作环节2：步骤分析

6．3 典型工作环节3：认识GraphX

6．4 典型工作环节4：使用GraphX分析平台数据

6．5 典型工作环节5：认识Machine Learning

6．6 典型工作环节6：常用Spark MLlib机器学习库API

6．7 典型工作环节7：使用ML分析平台数据

6．8 归纳总结与拓展提高

6．9 课后练习

工作任务单1

工作任务单2

工作任务单3

工作任务单4

工作任务单5

工作任务单6

参考文献

本教材是一门大数据基础课程，以Scala作为开发Spark应用程序的编程语言，主要介绍了Spark的核心组件，Spark环境搭建、Scala编程、RDD的创建、SparkSQL、SparkStreaming和SparkMLlib。本教材的结构划分为6个学习情景，每个学习情境又分为若干个典型工作环节。每个学习情景对大数据各主要功能模块的基本概念进行了描述，并提炼出了典型的技术应用，每个技术应用都将理论与实践相结合方式进行了阐述，同时做了相关的编程实现。每个学习情景的内容既体现了大数据技术在企业的实际应用和工作过程，又提供了在学习中能发现问题、分析问题、解决问题的途径。