循序渐进学Spark
全新正版 极速发货
￥ 30.63 5.2折 ￥ 59 全新
仅1件
广东广州
认证卖家担保交易快速发货售后保障
作者杨磊 著
出版社机械工业出版社
ISBN9787111563327
出版时间2017-04
装帧平装
开本16开
定价59元
货号1201490618
上书时间2024-11-20
商品详情
- 品相描述：全新
- 商品描述
-
目录
第1章Spark架构与集群环境
1.1Spark概述与架构
1.1.1Spark概述
1.1.2Spark生态
1.1.3Spark架构
1.2在Linux集群上部署Spark
1.2.1安装OpenJDK
1.2.2安装Scala
1.2.3配置SSH免密码登录
1.2.4Hadoop的安装配置
1.2.5Spark的安装部署
1.2.6Hadoop与Spark的集群复制
1.3Spark 集群试运行
1.4Intellij IDEA的安装与配置
1.4.1Intellij的安装
1.4.2Intellij的配置
1.5Eclipse IDE的安装与配置
1.6使用Spark Shell开发运行Spark程序
1.7本章小结
第2章Spark 编程模型
2.1RDD弹性分布式数据集
2.1.1RDD简介
2.1.2深入理解R
2.1.3RDD特性总结
2.2Spark程序模型
2.3Spark算子
2.3.1算子简介
2.3.2Value型Transmation算子
2.3.3Key-Value型Transmation算子
2.3.4Action算子
2.4本章小结
第3章Spark机制原理
3.1Spark应用执行机制分析
3.1.1Spark应用的基本概念
3.1.2Spark应用执行机制概要
3.1.3应用提交与执行
3.2Spark调度机制
3.2.1Application的调度
3.2.2job的调度
3.2.3stage（调度阶段）和TasksetManager的调度
3.2.4task的调度
3.3Spark存储与
3.3.1Spark存储系统概览
3.3.2BlockManager中的通信
3.4Spark通信机制
3.4.1分布式通信方式
3.4.2通信框架AK
3.4.3Client、Master和Worker之间的通信
3.5容错机制及依赖
3.5.1Lineage（血统）机制
3.5.2Checkpoint（检查点）机制
3.6Shuffle机制
3.6.1什么是Shuffle
3.6.2Shuffle历史及细节
3.7本章小结
第4章深入Spark内核
4.1Spark代码布局
4.1.1Spark源码布局简介
4.1.2Spark Core内模块概述
4.1.3Spark Core外模块概述
4.2Spark执行主线[RDD→Task]剖析
4.2.1从RDD到DAGScheduler
4.2.2从DAGScheduler到TaskScheduler
4.2.3从TaskScheduler到Worker节点
4.3Client、Master和Worker交互过程剖析
4.3.1交互流程概览
4.3.2交互过程调用
4.4Shuffle触发
4.4.1触发Shuffle Write
4.4.2触发Shuffle Read
4.5Spark存储策略
4.5.1CacheManager职能
4.5.2BlockManager职能
4.5.3DiskStore与DiskBlock--Manager类
4.5.4MemoryStore类
4.6本章小结
第5章Spark on YARN
5.1YARN概述118
5.2Spark on YARN的部署模式
5.3Spark on YARN的配置重点
5.3.1YARN的自身内存配置
5.3.2Spark on YARN的重要配置
5.4本章小结
第6章BDAS 生态主要模块
6.1Spark SQL
6.1.1Spark SQL概述
6.1.2Spark SQL的架构分析
6.1.3Spark SQL如何使用
6.2Spark Streaming
6.2.1Spark Streaming概述
6.2.2Spark Streaming的架构分析
6.2.3Spark Streaming编程模型
6.2.4数据源Data Source
6.2.5DStream操作
6.3SparkR
6.3.1R语言概述
6.3.2SparkR简介
6.3.3DataFrame创建
6.3.4DataFrame操作
6.4MLlib on Spark
6.4.1机器学习概述
6.4.2机器学习的研究方向与问题
6.4.3机器学习的常见算法
6.4.4MLlib概述
6.4.5MLlib架构
6.4.6MLlib使用实例——电影推荐
6.5本章小结
第7章Spark调优
7.1参数配置
7.2调优技巧
7.2.1序列化优化
7.2.2内存优化
7.2.3数据本地化
7.2.4其他优化考虑
7.3实践中常见调优问题及思考
7.4本章小结
第8章Spark 2.0.0
8.1功能变化
8.1.1删除的功能
8.1.2Spark中发生变化的行为
8.1.3不再建议使用的功能
8.2Core以及Spark SQL的改变
8.2.1编程API
8.2.2多说些关于SparkSession
8.2.3SQL
8.3MLlib
8.3.1新功能
8.3.2速度/扩展性
8.4SparkR
8.5Streaming
8.5.1初识结构化Streaming
8.5.2结构化Streaming编程模型
8.5.3结果输出
8.6依赖、打包
8.7本章小结
内容摘要
这是一本引导读者深度学习Spark的技术指南。它由靠前具实力的大数据在线教育机构小象学院组织撰写，旨在用合理的结构和精炼的内容让读者用短的时间掌握Spark技术的核心内容。靠前章和第2章分别讲解了Spark的开发环境和编程模型；第3章分析了Spark的工作机制和原理；第4章则结合源代码分析了Spark的内核架构和实现原理；第5章讲解了Spark与YARN的结合应用；第6章介绍了Spark生态中其他模块的功能和使用；第7章总结了Spark性能调优方面的技巧和方法；第8章描述了Spark2.0发布后，其模块API的变化以及新增的功能特性。
相关推荐
— 没有更多了 —
以下为对购买帮助不大的评价