Flink原理、实战与性能优化

图书标准信息

• 作者 张利兵 著
• 出版社 机械工业出版社
• 出版时间 2019-05
• 版次 1
• ISBN 9787111623533
• 定价 79.00元
• 装帧 平装
• 开本 16
• 纸张 胶版纸
• 页数 277页

【内容简介】

这是一部以实战为导向，能指导读者零基础掌握Flink并快速完成进阶的著作，从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。作者是该领域的资深专家，现就职于第四范式，曾就职于明略数据。

 

全书一共10章，逻辑上可以分为三个部分：

 

第一部分（第1~2章）

 

主要介绍了Flink的核心概念、特性、应用场景、基本架构，开发环境的搭建和配置，以及源代码的编译。

 

第二部分（第3~9章）

 

详细讲解了Flink的编程范式，各种编程接口的功能、应用场景和使用方法，以及核心模块和组件的原理和使用。

 

第三部分（第10章）

 

重点讲解了Flink的监控和优化，参数调优，以及对反压、Checkpoint和内存的优化。

 

【作者简介】

张利兵

 

 

资深架构师，流式计算领域专家，第四范式华东区AI项目架构师，原明略数据华东区大数据架构师。

 

有多年大数据、流式计算方面的开发经验，对Hadoop、Spark、Flink等大数据计算引擎有着非常深入的理解，积累了丰富的项目实践经验。先后利用相关技术为银行、证券、地铁等领域的头部企业构建了内部大数据平台，参与了基于Flink的实时反欺诈风控、实时地铁故障预警等流式计算平台的设计和研发。

 

【目录】

前言
章 apache flink介绍 1
1.1 apache flink是什么 1
1.2 数据架构的演变 2
1.2.1 传统数据基础架构 3
1.2.2 大数据数据架构 4
1.2.3 有状态流计算架构 5
1.2.4 为什么会是flink 6
1.3 flink应用场景 8
1.4 flink基本架构 10
1.4.1 基本组件栈 10
1.4.2 基本架构图 11
1.5 本章小结 13
第2章 环境准备 14
2.1 运行环境介绍 14
2.2 flink项目模板 15
2.2.1 基于java实现的项目模板 15
2.2.2 基于scala实现的项目模板 18
2.3 flink开发环境配置 20
2.3.1 下载intellij idea ide 21
2.3.2 安装scala plugins 21
2.3.3 导入flink应用代码 22
2.3.4 项目配置 22
2.4 运行scala repl 24
2.4.1 环境支持 24
2.4.2 运行程序 24
2.5 flink源码编译 25
2.6 本章小结 26
第3章 flink编程模型 27
3.1 数据集类型 27
3.2 flink编程接 29
3.3 flink程序结构 30
3.4 flink数据类型 37
3.4.1 数据类型支持 37
3.4.2 typeinformation信息获取 40
3.5 本章小结 43
第4章 datastream api 介绍与使用 44
4.1 datastream编程模型 44
4.1.1 datasources数据输入 45
4.1.2 datasteam转换作 49
4.1.3 datasinks数据输出 59
4.2 时间概念与watermark 61
4.2.1 时间概念类型 61
4.2.2 eventtime和watermark 63
4.3 windows窗计算 69
4.3.1 windows assigner 70
4.3.2 windows function 77
4.3.3 trigger窗触发器 83
4.3.4 evictors数据剔除器 87
4.3.5 延迟数据处理 88
4.3.6 连续窗计算 89
4.3.7 windows多流合并 90
4.4 作业链和资源组 95
4.4.1 作业链 95
4.4.2 slots资源组 96
4.5 asynchronous i/o异步作 97
4.6 本章小结 98
第5章 flink状态管理和容错 100
5.1 有状态计算 100
5.2 checkpoints和savepoints 109
5.2.1 checkpoints检查点机制 109
5.2.2 savepoints机制 111
5.3 状态管理器 114
5.3.1 statebackend类别 114
5.3.2 状态管理器配置 116
5.4 querable state 118
5.5 本章小结 123
第6章 dataset api介绍与使用 124
6.1 dataset api 124
6.1.1 应用实例 125
6.1.2 datasources数据接入 126
6.1.3 dataset转换作 128
6.1.4 datasinks数据输出 134
6.2 迭代计算 136
6.2.1 全量迭代 136
6.2.2 增量迭代 137
6.3 广播变量与分布式缓存 139
6.3.1 广播变量 139
6.3.2 分布式缓存 140
6.4 语义注解 141
6.4.1 forwarded fileds注解 141
6.4.2 non-forwarded fileds注解 143
6.4.3 read fields注解 144
6.5 本章小结 145
第7章 table api & sql介绍与使用 146
7.1 tableenviroment概念 146
7.1.1 开发环境构建 147
7.1.2 tableenvironment基本作 147
7.1.3 外部连接器 155
7.1.4 时间概念 162
7.1.5 temporal tables临时表 166
7.2 flink table api 167
7.2.1 table api应用实例 167
7.2.2 数据查询和过滤 168
7.2.3 窗作 168
7.2.4 聚合作 173
7.2.5 多表关联 175
7.2.6 集合作 177
7.2.7 排序作 178
7.2.8 数据写入 179
7.3 flink sql使用 179
7.3.1 flink sql实例 179
7.3.2 执行sql 180
7.3.3 数据查询与过滤 181
7.3.4 group windows窗作 182
7.3.5 数据聚合 184
7.3.6 多表关联 186
7.3.7 集合作 187
7.3.8 数据输出 189
7.4 自定义函数 189
7.4.1 scalar function 189
7.4.2 table function 191
7.4.3 aggregation function 192
7.5 自定义数据源 193
7.5.1 tablesource定义 193
7.5.2 tablesink定义 196
7.5.3 tablefactory定义 199
7.6 本章小结 201
第8章 flink组件栈介绍与使用 202
8.1 flink复杂事件处理 202
8.1.1 基础概念 203
8.1.2 pattern api 204
8.1.3 事件获取 210
8.1.4 应用实例 212
8.2 flink gelly图计算应用 213
8.2.1 基本概念 213
8.2.2 graph api 214
8.2.3 迭代图处理 220
8.2.4 图生成器 226
8.3 flinkml机器学应用 227
8.3.1 基本概念 227
8.3.2 有监督学算子 229
8.3.3 数据预处理 231
8.3.4 算 234
8.3.5 pipelines in flinkml 235
8.4 本章小结 236
第9章 flink部署与应用 237
9.1 flink集群部署 237
9.1.1 standalone cluster部署 238
9.1.2 yarn cluster部署 240
9.1.3 kuberes cluster部署 244
9.2 flink高可用配置 247
9.2.1 standalone集群高可用配置 248
9.2.2 yarn session集群高可用配置 250
9.3 flink安全管理 251
9.3.1 认证目标 251
9.3.2 认证配置 252
9.3.3 ssl配置 253
9.4 flink集群升级 255
9.4.1 任务重启 256
9.4.2 状态维护 256
9.4.3 版本升级 257
9.5 本章小结 258
0章 flink监控与能优化 259
10.1 监控指标 259
10.1.1 系统监控指标 259
10.1.2 监控指标注册 261
10.1.3 监控指标报表 264
10.2 backpressure监控与优化 266
10.2.1 backpressure进程抽样 266
10.2.2 backpressure页面监控 267
10.2.3 backpressure配置 268
10.3 checkpointing监控与优化 268
10.3.1 checkpointing页面监控 268
10.3.2 checkpointing优化 271
10.4 flink内存优化 273
10.4.1 flink内存配置 274
10.4.2 work buffers配置 275
10.5 本章小结 277