剑指大数据――Flink学习精要(Scala版)
全新正版 极速发货
¥
58.68
5.6折
¥
105
全新
库存4件
作者尚硅谷教育
出版社电子工业
ISBN9787121443428
出版时间2022-10
装帧其他
开本其他
定价105元
货号1202746563
上书时间2024-06-02
商品详情
- 品相描述:全新
- 商品描述
-
目录
第1章 初识Flink1
1.1 Flink的起源和设计理念1
1.2 Flink的应用3
1.2.1 Flink在企业中的应用3
1.2.2 Flink主要的应用场景3
1.3 流式数据处理的发展和演变4
1.3.1 流处理和批处理5
1.3.2 传统事务处理6
1.3.3 有状态的流处理6
1.3.4 Lambda架构9
1.3.5 新一代流处理器10
1.4 Flink的特性总结10
1.4.1 Flink的核心特性10
1.4.2 分层API10
1.5 Flink与Spark11
1.5.1 数据处理架构12
1.5.2 数据模型和运行架构13
1.5.3 Spark还是Flink13
1.6 本章总结14
第2章 Flink快速上手15
2.1 环境准备15
2.2 创建项目15
2.3 编写代码18
2.3.1 批处理18
2.3.2 流处理19
2.4 本章总结22
第3章 Flink部署23
3.1 快速启动一个Flink集群24
3.1.1 环境配置24
3.1.2 本地启动24
3.1.3 集群启动25
3.1.4 向集群提交作业27
3.2 部署模式30
3.2.1 会话模式30
3.2.2 单作业模式31
3.2.3 应用模式31
3.3 独立模式32
3.3.1 会话模式部署32
3.3.2 单作业模式部署32
3.3.3 应用模式部署32
3.3.4 高可用33
3.4 YARN模式34
3.4.1 相关准备和配置34
3.4.2 会话模式部署35
3.4.3 单作业模式部署36
3.4.4 应用模式部署37
3.4.5 高可用37
3.5 K8s模式38
3.6 本章总结38
第4章 Flink运行时架构39
4.1 系统架构39
4.1.1 整体构成40
4.1.2 JobManager40
4.1.3 TaskManager41
4.2 作业提交流程42
4.2.1 高层级抽象视角42
4.2.2 独立模式42
4.2.3 YARN集群43
4.3 一些重要概念45
4.3.1 数据流图45
4.3.2 并行度46
4.3.3 算子链48
4.3.4 作业图与执行图49
4.3.5 任务和任务槽51
4.4 本章总结56
第5章 DataStream API基础篇57
5.1 执行环境57
5.1.1 创建执行环境58
5.1.2 执行模式58
5.1.3 触发程序执行60
5.2 数据源60
5.2.1 准备工作60
5.2.2 从集合中读取数据61
5.2.3 从文件读取数据61
5.2.4 从Socket读取数据62
5.2.5 从Kafka读取数据62
5.2.6 自定义数据源64
5.2.7 Flink支持的数据类型66
5.3 转换操作67
5.3.1 基本转换算子67
5.3.2 聚合算子71
5.3.3 用户自定义函数75
5.3.4 物理分区78
5.4 输出83
5.4.1 连接到外部系统83
5.4.2 输出到文件85
5.4.3 输出到Kafka86
5.4.4 输出到Redis87
5.4.5 输出到Elasticsearch89
5.4.6 输出到MySQL91
5.4.7 自定义Sink输出93
5.5 本章总结94
第6章 Flink中的时间和窗口95
6.1 时间语义95
6.1.1 Flink中的时间语义95
6.1.2 哪种时间语义更重要97
6.2 水位线98
6.2.1 事件时间和窗口98
6.2.2 什么是水位线100
6.2.3 如何生成水位线104
6.2.4 水位线的传递110
6.2.5 水位线的总结111
6.3 窗口112
6.3.1 窗口的概念112
6.3.2 窗口的分类114
6.3.3 窗口API概览117
6.3.4 窗口分配器118
6.3.5 窗口函数121
6.3.6 测试水位线和窗口的使用129
6.3.7 其他API131
6.3.8 窗口的生命周期135
6.4 迟到数据的处理136
6.4.1 设置水位线延迟时间136
6.4.2 允许窗口处理迟到数据137
6.4.3 将迟到数据放入窗口侧输出流137
6.5 本章总结140
第7章 处理函数141
7.1 基本处理函数141
7.1.1 处理函数的功能和使用141
7.1.2 ProcessFunction解析143
7.1.3 处理函数的分类144
7.2 按键分区处理函数145
7.2.1 定时器和定时服务145
7.2.2 KeyedProcessFunction的使用146
7.3 窗口处理函数149
7.3.1 窗口处理函数的使用149
7.3.2 ProcessWindowFunction解析150
7.4 应用案例――Top N151
7.4.1 使用ProcessAllWindowFunction151
7.4.2 使用KeyedProcessFunction153
7.5 侧输出流157
7.6 本章总结157
第8章 多流转换158
8.1 分流158
8.1.1 简单实现158
8.1.2 使用侧输出流159
8.2 基本合流操作161
8.2.1 联合161
8.2.2 连接164
8.3 基于时间的合流――联结169
8.3.1 窗口联结169
8.3.2 间隔联结172
8.3.3 窗口同组联结175
8.4 本章总结176
第9章 状态编程177
9.1 Flink中的状态177
9.1.1 有状态算子177
9.1.2 状态的管理178
9.1.3 状态的分类178
9.2 按键分区状态180
9.2.1 基本概念和特点180
9.2.2 支持的结构类型180
9.2.3 代码实现182
9.2.4 状态生存时间189
9.3 算子状态190
9.3.1 基本概念和特点190
9.3.2 状态类型190
9.3.3 代码实现191
9.4 广播状态194
9.4.1 基本用法194
9.4.2 代码实例196
9.5 状态持久化和状态后端197
9.5.1 检查点197
9.5.2 状态后端198
9.6 本章总结200
第10章 容错机制201
10.1 检查点201
10.1.1 检查点的保存202
10.1.2 从检查点恢复状态204
10.1.3 检查点算法206
10.1.4 检查点配置210
10.1.5 保存点212
10.2 状态一致性213
10.2.1 一致性的概念和级别214
10.2.2 端到端的状态一致性214
10.3 端到端精确一次215
10.3.1 输入端保证215
10.3.2 输出端保证215
10.3.3 Flink和Kafka连接时的精确一次保证218
10.4 本章总结221
第11章 Table API和SQL222
11.1 快速上手222
11.1.1 需要引入的依赖223
11.1.2 一个简单示例223
11.2 基本API224
11.2.1 程序架构225
11.2.2 创建表环境225
11.2.3 创建表226
11.2.4 表的查询227
11.2.5 输出表229
11.2.6 表和流的转换230
11.3 流处理中的表234
11.3.1 动态表和持续查询235
11.3.2 将流转换成动态表236
11.3.3 用SQL持续查询237
11.3.4 将动态表转换为流241
11.4 时间属性和窗口242
11.4.1 事件时间242
11.4.2 处理时间244
11.4.3 窗口245
11.5 聚合查询247
11.5.1 分组聚合247
11.5.2 窗口聚合248
11.5.3 开窗聚合250
11.5.4 应用实例――Top N252
11.6 联结查询255
11.6.1 常规联结查询256
11.6.2 间隔联结查询257
11.7 函数257
11.7.1 系统函数258
11.7.2 自定义函数259
11.8 SQL客户端265
11.9 连接到外部系统267
11.9.1 Kafka267
11.9.2 文件系统269
11.9.3 JDBC270
11.9.4 Elasticsearch271
11.9.5 HBase271
11.9.6 Hive272
11.10 本章总结275
第12章 Flink CEP277
12.1 基本概念277
12.1.1 CEP是什么277
12.1.2 模式278
12.1.3 应用场景279
12.2 快速上手279
12.2.1 需要引入的依赖279
12.2.2 一个简单实例279
12.3 模式API281
12.3.1 个体模式281
12.3.2 组合模式285
12.3.3 模式组288
12.3.4 匹配后跳过策略289
12.4 模式的检测处理290
12.4.1 将模式应用到流上290
12.4.2 处理匹配事件290
12.4.3 处理超时事件293
12.4.4 处理迟到数据296
12.5 CEP的状态机实现297
12.6 本章总结299
内容摘要
本书基于流行稳定版Flink1.13进行讲解,从Flink数据处理思想开始讲起,带领读者深入理解Flink的基本架构,进而由浅入深结合具体案例进行讲解,详细剖析了Flink中DataStreamAPI的使用,并对Flink中的时间语义、状态、容错机制等重要概念进行了详尽的阐释。同时,本书还对实际开发过程中常用的FlinkSQL、CEP等高层级API进行了细致讲解,以电商网站中的实际应用为场景,提供了大量的代码实现。本书分为12章:第1~5章,带领读者初步认识Flink并编写基本的Flink程序;第6~10章,深入探讨了Flink内部的高级应用。第11~12章,讲解了Flink提供的扩展功能。本书适用于大数据的学习者与从业人员,以及院校大数据相关专业的学生,也是大数据学习的必备书籍。
— 没有更多了 —
以下为对购买帮助不大的评价