大数据技术与应用丛书：Spark大数据分析与实战

图书标准信息

• 作者 黑马程序员 著
• 出版社 清华大学出版社
• 出版时间 2019-08
• 版次 1
• ISBN 9787302534327
• 定价 49.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 228页
• 字数 99999千字

【内容简介】

本教材紧密结合交通设备与控制工程专业特点并依据人才培养方案的要求?从专业基础与课程体系、专业主要课程与技术理论、专业应用案例和创新创业４ 个层面进行讲述? 全书共分９ 章?包括概论、公共基础知识理论、基本技能与工具、交通背景知识、硬件集成技术、软件开发技术、智能交通系统集成、典型的专业应用实例、大学生创新创业与成长。

 

本书适用于交通设备与控制工程本科专业大学一年级学生、智能交通系统领域的本专科学生以及智能交通系统领域的专业技术人员

 

【目录】

章scala语言基础1
1.1初识scala1
1.1.1scala概述1
1.1.2scala的下载安装2
1.1.3在idea开发工具中下载安装
scala插件4
1.1.4开发个scala程序6
1.2scala的基础语法9
1.2.1声明值和变量9
1.2.2数据类型9
1.2.3算术和作符重载10
1.2.4控制结构语句10
1.2.5方法和函数13
1.3scala的数据结构15
1.3.1数组15
1.3.2元组18
1.3.3集合19
1.4scala面向对象的特24
1.4.1类与对象24
1.4.2继承25
1.4.3单例对象和伴生对象26
1.4.4特质28
1.5scala的模式匹配与样例类29
1.5.1模式匹配30
1.5.2样例类31
1.6本章小结31
1.7课后题32
第2章spark基础33
2.1初识spark33spark大数据分析与实战
2.1.1spark概述33
2.1.2spark的特点34
2.1.3spark应用场景35
2.1.4spark与hadoop对比36
2.2搭建spark开发环境37
2.2.1环境准备37
2.2.2spark的部署方式37
2.2.3spark集群安装部署38
2.2.4spark ha集群部署41
2.3spark运行架构与45
2.3.1基本概念45
2.3.2spark集群运行架构45
2.3.3spark运行基本流程46
2.4体验个spark程序47
2.5启动spark shell49
2.5.1运行spark shell命令49
2.5.2运行spark shell读取hdfs文件50
2.6idea开发wordcount程序52
2.6.1以本地模式执行spark程序52
2.6.2集群模式执行spark程序54
2.7本章小结58
2.8课后题59
第3章spark rdd弹分布式数据集60
3.1rdd简介60
3.2rdd的创建方式61
3.2.1从文件系统加载数据创建rdd61
3.2.2通过并行集合创建rdd62
3.3rdd的处理过程63
3.3.1转换算子63
3.3.2行动算子67
3.3.3编写wordcount词频统计案例70
3.4rdd的分区71
3.5rdd的依赖关系71
3.6rdd机制73
3.6.1持久化机制73
3.6.2容错机制75
3.7spark的任务调度76
3.7.1dag的概念76
3.7.2rdd在spark中的运行流程76
3.8本章小结78
3.9课后题78
第4章spark sql结构化数据文件处理80
4.1spark sql的基础知识80
4.1.1spark sql的简介80
4.1.2spark sql架构81
4.2dataframe的基础知识82
4.2.1dataframe简介82
4.2.2dataframe的创建83
4.2.3dataframe的常用作86
4.3dataset的基础知识89
4.3.1dataset简介89
4.3.2dataset对象的创建89
4.4rdd转换为dataframe90
4.4.1反机制推断schema90
4.4.2编程方式定义schema92
4.5spark sql作数据源94
4.5.1作mysql94
4.5.2作hive数据集96
4.6本章小结99
4.7课后题99
第5章hbase分布式数据库101
5.1hbase的基础知识101
5.1.1hbase的简介101
5.1.2hbase的数据模型102
5.2hbase的集群部署103
5.3hbase的基本作107
5.3.1hbase的shell作107
5.3.2hbase的java api作112
5.4深入学hbase120
5.4.1hbase架构121
5.4.2物理存储122
5.4.3寻址机制123
5.4.4hbase读写数据流程124
5.5hbase和hive的整合125
5.6本章小结130
5.7课后题130
第6章kafka分布式发布订阅消息系统132
6.1kafka的基础知识132
6.1.1消息传递模式简介132
6.1.2kafka简介133
6.2kafka工作134
6.2.1kafka核心组件介绍134
6.2.2kafka工作流程分析136
6.3kafka集群部署与测试138
6.3.1安装kafka138
6.3.2启动kafka服务140
6.4kafka生产者和消费者实例141
6.4.1基于命令行方式使用kafka141
6.4.2基于java api方式使用kafka143
6.5kafka streams148
6.5.1kafka streams概述149
6.5.2kafka streams开发单词应用149
6.6本章小结153
6.7课后题153
第7章spark streaming实时计算框架155
7.1实时计算的基础知识155
7.1.1什么是实时计算155
7.1.2常用的实时计算框架155
7.2spark streaming的基础知识156
7.2.1spark streaming简介156
7.2.2spark streaming工作157
7.3spark的dstream157
7.3.1dstream简介157
7.3.2dstream编程模型158
7.3.3dstream转换作158
7.3.4dstream窗作164
7.3.5dstream输出作168
7.3.6dstream实例——实现热词排序170
7.4spark streaming整合kafka实战173
7.4.1kafkautils.createdstream方式173
7.4.2kafkautils.createdirectstream方式177
7.5本章小结180
7.6课后题180
第8章spark mllib 机器学算法库182
8.1初识机器学182
8.1.1什么是机器学182
8.1.2机器学的应用183
8.2spark机器学库mllib的概述184
8.2.1mllib的简介184
8.2.2spark机器学工作流程185
8.3数据类型186
8.3.1本地向量186
8.3.2标注点186
8.3.3本地矩阵187
8.4spark mllib基本统计188
8.4.1摘要统计188
8.4.2相关统计189
8.4.3分层抽样190
8.5分类191
8.5.1线支持向量机191
8.5.2逻辑回归192
8.6案例——构建系统193
8.6.1模型分类194
8.6.2利用mllib实现电影194
8.7本章小结200
8.8课后题200
第9章综合案例——spark实时交易数据统计202
9.1系统概述202
9.1.1系统背景介绍202
9.1.2系统架构设计202
9.1.3系统预览203
9.2redis数据库203
9.2.1redis介绍204
9.2.2redis部署与启动204
9.2.3redis作及命令205
9.3模块开发——构建工程结构206
9.4模块开发——构建订单系统211
9.4.1模拟订单数据211
9.4.2向kafka集群发送订单数据212
9.5模块开发——分析订单数据215
9.6模块开发——数据展示219
9.6.1搭建web开发环境219
9.6.2实现数据展示功能221
9.6.3可视化台展示227
9.7本章小结228