Spark实时大数据分析 基于Spark Streaming框架
¥
38.41
4.3折
¥
89
九五品
仅1件
作者(美)祖贝尔·纳比(Zubair Nabi)
出版社清华大学出版社
ISBN9787302511878
出版时间2018-11
版次1
装帧平装
开本16开
纸张胶版纸
页数241页
字数99999千字
定价89元
上书时间2024-05-19
商品详情
- 品相描述:九五品
- 商品描述
-
基本信息
书名:Spark实时大数据分析 基于Spark Streaming框架
定价:89.00元
作者:(美)祖贝尔·纳比(Zubair Nabi)
出版社:清华大学出版社
出版日期:2018-11-01
ISBN:9787302511878
字数:338000
页码:241
版次:1
装帧:平装
开本:B5开
商品重量:
编辑推荐
每天有100万次优步打车,每月有100亿小时的Netflix视频,每年有1万亿美元花在电子商务网站上——我们今天的生活何尝不是如此呢?。这些服务的成功得益于大数据和日益增长的实时分析。这些服务的成功也应引起我们足够的重视!这也是我们学习实时大数据分析的1佳时机!学习它,掌握它,使用它!本书采取用例为先的方法:每1章都专门针对某一特定垂直行业,并通过实例、代码、图标进行分析——真实的示例、真实的应用程序、真实的数据和真实的代码。
内容提要
本书详细阐述了与Spark实时大数据分析以及Spark Streaming框架相关的基本解决方案,主要包括大数据漫游指南,实时RDD,高速流:链接外部数据源,边界效应,实时ETL和分析技术,大规模机器学习,云、Lambda及Python等内容。此外,本书还提供了丰富的示例以及代码,以帮助读者进一步理解相关方案的实现过程。
本书适合作为高等院校计算机及相关专业的教材和教学参考书,也可作为相关开发人员的自学教材和参考手册。
目录
章 大数据漫游指南
1.1 Spark前传
1.1.1Web 2.0时代
1.1.2 无处不在的传感器
1.2 Spark Streaming:MapReduce和CEP的交集
第2章 Spark简介
2.1 安装
2.2 执行
2.2.1 独立集群模式(Standalone Cluster)
2.2.2 YARN模式
2.3 个应用程序
2.3.1 构建
2.3.2 执行
2.4 SparkContext
2.4.1 RDDs创建
2.4.2 处理依赖关系
2.4.3 创建共享变量
2.4.4 作业执行
2.5 RDD
2.5.1 持久化
2.5.2 转换
2.5.3 行动(Action)
小结
第3章 实时RDD:DStream
3.1 从连续流到离散流
3.2 个Spark Streaming应用程序
3.2.1 构建和执行
3.2.2 Streaming Context
3.3 DStreams
3.3.1 Spark Streaming应用程序剖析
3.3.2 转换
小结
第4章 高速流:并行化及其他
4.1 流数据的一大飞跃
4.2 并行化
4.2.1 Worker
4.2.2 执行器(Executor)
4.2.3 任务(Task)
4.3 批处理间隔
4.4 调度
4.4.1 应用程序间调度
4.4.2 批处理调度
4.4.3 作业间调度
4.4.4 一个行动,一个作业
4.5 内存
4.5.1 序列化
4.5.2 压缩(Compression)
4.5.3 垃圾收集
4.6 Shuffle
4.6.1 早期投影和过滤
4.6.2 经常使用组合器
4.6.3 大量运用平行化
4.6.4 文件合并(File Consolidation)
4.6.5 更多内存
小结
第5章 链接外部数据源
5.1 智慧城市,智慧地球,一切更智慧
5.2 ReceiverInputDStream
5.3 套接字
5.4 MQTT
5.5 Flume
5.5.1 基于推模式的Flume数据摄取
5.5.2 基于拉模式的Flume数据摄取
5.6 Kafka
5.6.1 基于接收器的Kafka消费者
5.6.2 直接Kafka消费者
5.7 Twitter
5.8 块间隔
5.9 自定义接收器
小结
第6章 边界效应
6.1 盘点股市
6.2 foreachRDD
6.2.1 为每条记录创建一个连接
6.2.2 为每个分区创建一个连接
6.2.3 静态连接
6.2.4 惰性静态连接
6.2.5 静态连接池
6.3 可扩展流存储
6.3.1 HBase
6.3.2 股市控制台(Dashboard)
6.3.3 SparkOnHBase
6.3.4 Cassandra
6.3.5 Spark Cassandra连接器
6.4 全局状态(Global State)
6.4.1 静态变量
6.4.2 updateStateByKey
6.4.3 累加器
6.4.4 外部解决方案
小结
第7章 充分准备
7.1 每个点击都异乎重要
7.2 Tachyon(Alluo)
7.3 Spark Web UI
7.3.1 历史分析
7.3.2 RESTful度量
7.4 日志记录
7.5 外部度量
7.6 系统度量
7.7 监控和报警
小结
第8章 实时ETL和分析技术
8.1 交易数据记录的强大功能
8.2 个流式Spark SQL应用程序
8.3 SQLContext
8.3.1 创建数据框
8.3.2 执行SQL
8.3.3 配置
8.3.4 用户自定义函数
8.3.5 Catalyst:查询执行和优化
8.3.6 HiveContext
8.4 数据框(Data Frame)
8.4.1 类型
8.4.2 查询转换
8.4.3 行动
8.4.4 RDD操作
8.4.5 持久化
8.4.6 做法
8.5 SparkR
8.6 个SparkR应用程序
8.6.1 执行
8.6.2 流式SparkR
小结
第9章 大规模机器学习
9.1 传感器数据风暴
9.2 流式MLlib应用程序
9.3 MLlib
9.3.1 数据类型
9.3.2 统计分析
9.3.3 预处理
9.4 特征选择和提取
9.4.1 卡方选择
9.4.2 主成分分析
9.5 学习算法
9.5.1 分类
9.5.2 聚类
9.5.3 推荐系统
9.5.4 频繁模式挖掘
9.6 流式ML管道应用程序
9.7 ML
9.8 管道交叉验证
小结
0章 云、Lambda及Python
10.1 一条好评胜过一千个广告
10.2 Google Dataproc
10.3 基于Dataproc应用程序创建的个Spark
10.4 PySpark
10.5 Lambda架构
10.6 流式图分析
总结
作者介绍
序言
— 没有更多了 —
以下为对购买帮助不大的评价