【现货速发】Flink入门与实战

随着物联网、5G以及大数据技术的发展，人类已经进入大数据时代，毫不夸张地说，未来IT相关的职位，一项技能就是大数据处理能力。当前，人类基于大数据和人工智能等技术，在特定领域中可以大大提升业务系统的智能化水平。
人类对于计算速度的追求从未停止，即使面对海量的数据，我们也希望大数据框架可以在非常低的延迟下进行响应，从而提升用户的体验。
主流的分布式大数据计算框架有Storm、Spark和Flink，由于阿里对Flink的收购以及改进，目前Flink社区非常活跃，社区一直致力于统一流处理和批处理API，并逐步增强Flink SQL相关功能，即期望通过SQL来满足大部分的大数据ETL处理场景。另外，随着Flink SQL功能的增强和发展，也大大降低了Flink学习的难度。
目前，Flink在百度、阿里、字节跳动、小米和腾讯等商业巨头中有成熟的应用，每日可以处理万亿的事件，且可以维护TB级别的状态信息。Flink支持多种编程语言，可以用Java、Scala以及Python进行大数据业务处理。与此同时，Flink支持灵活的窗口计算以及乱序数据处理，这相对于其他大数据计算框架来说，有比较强的优势。
如果你对实时大数据处理感兴趣，致力于构建分布式大数据处理应用程序，并且有一点Java编程基础，那么本书适合你。本书作为Flink的入门教材，由浅入深地对Flink大数据处理方法进行介绍，特别对常用的DataStream API和DataSet API、Table API 和SQL进行了详细的说明，后结合实战项目，将各个知识点有机整合，做到理论联系实际。
本书涉及的技术和框架
本书涉及的技术和框架包括Flink、IntelliJ IDEA、Java、Kafka、jQuery、HTML5、Node.js、Maven。
本书特点
（1）理论联系实际。本书先对Flink基本的安装过程进行说明，并对Flink分布式架构、内部数据处理过程等进行详细分析，后结合示例代码进行说明，做到理论联系实际。
（2）深入浅出、轻松易学。本书以实例为主线，激发读者的阅读兴趣，让读者能够真正学习到Flink 实用、前沿的技术。
（3）技术新颖、与时俱进。本书结合当前热门的技术，如Node.js和HTML5等，让读者在学习Flink的同时，了解更多相关的先进技术。
（4）贴心提醒。本书根据需要在各章使用了很多“注意”小栏目，让读者可以在学习过程中更轻松地理解相关知识点及概念。
本书读者
? 有一点Java编程基础的初学者
? 大数据处理与分析人员
? 从事后端开发，对大数据开发有兴趣的人员
? 想用Flink构建大数据应用的人员
? 想从事大数据技术工作的大中专院校学生
? Java开发和Java架构人员
? 大数据技术培训机构的师生 
源码下载
源码下载，请用微信扫描右边二维码，可按页面提示，把下载链接转到自己邮箱下载。如果学习本书过程中发现问题，请联系booksaga@163.com，邮件主题为“Flink入门与实战”。

作  者
2021年3月

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态的计算，广泛应用于大数据相关的实际业务场景中。本书是一本从零开始讲解Flink的入门教材，学习本书需要有Java编程基础。 本书共分10章，内容包括Flink开发环境搭建、Flink架构和原理、时间和窗口、状态管理和容错机制、数据类型与序列化、DataStream API和DataSet API、Table API和SQL、Flink并行、Flink部署与应用，后以一个Flink实战项目为例，对Flink相关知识进行综合实践，其中涉及Web页面展示、WebSocket协议和Node.js服务等技术。 本书内容详尽、示例丰富，适合作为Flink初学者的参考书，也非常适合作为高等院校和培训机构大数据及相关专业的师生教学参考。

汪明，中国矿业大学硕士，徐州软件协会副理事长，某创业公司合伙人。从事软件行业十余年，发表论文数十篇。著有图书《Python大数据处理库PySpark实战》《TypeScript实战》《Go并发编程实战》。

第1章  Flink环境搭建 1
1.1  下载安装 1
1.1.1  什么是Flink 1
1.1.2  Flink用户 3
1.1.3  JDK安装 4
1.1.4  Scala安装 7
1.1.5  Python安装 10
1.1.6  FinalShell安装 12
1.2  配置与开发工具 15
1.2.1  基础配置 15
1.2.2  IDEA开发工具 17
1.3  编译 19
1.3.1  Scala项目模板 19
1.3.2  Java项目模板 24
1.3.3  Python项目 28
1.3.4  项目编译 30
1.4  运行Flink应用 31
1.4.1  单机Standalone模式 31
1.4.2  多机Standalone模式 37
1.4.3  On Yarn集群模式 37
1.5  本章小结 38
第2章  定义、架构与原理 39
2.1  流处理的应用场景 39
2.1.1  数据预处理场景 40
2.1.2  预警场景 40
2.1.3  实时数量统计场景 40
2.1.4  数据库交互场景 40
2.1.5  跟踪场景 40
2.1.6  基于数据流的机器学习场景 41
2.1.7  实时自动控制场景 41
2.2  流处理的原理 41
2.2.1  流数据特征 41
2.2.2  Dataflow模型 42
2.2.3  数据流图 43
2.2.4  流处理操作 45
2.2.5  窗口操作 46
2.3  Flink架构分析 49
2.3.1  Flink常见概念 49
2.3.2  Flink主从架构 51
2.3.3  任务和算子链 52
2.4  Flink中的几个语义——Streams、State、Time、API 53
2.4.1  Streams流 53
2.4.2  State状态 54
2.4.3  Time时间 55
2.4.4  API接口 55
2.5  Flink组件 56
2.6  本章小结 57
第3章  时间和窗口 58
3.1  时间 58
3.1.1  Flink中的时间 58
3.1.2  时间的特性 60
3.2  Timestamp和Watermark 61
3.2.1  在SourceFunction中生成 61
3.2.2  在assignTimestampsAndWatermarks中生成 64
3.2.3  Watermarks传播机制 83
3.3  EventTime Watermark解决乱序数据 95
3.3.1  无迟到的乱序数据 96
3.3.2  有迟到的乱序数据 104
3.4  WindowAssigner、Evictor以及Trigger 109
3.4.1  WindowAssigner 111
3.4.2  Trigger 116
3.4.3  Evictor 122
3.5  Window内部实现 126
3.5.1  Flink Window源码分析 126
3.5.2  Flink Window执行过程 130
3.6  Window使用 131
3.6.1  Time Window 131
3.6.2  Count Window 135
3.6.3  Session Window 138
3.6.4  自定义Window 140
3.7  Window聚合分类 144
3.7.1  增量聚合 144
3.7.2  全量聚合 146
3.8  本章小结 149
第4章  状态管理及容错机制 150
4.1  什么是状态 150
4.2  什么场景会用到状态 150
4.3  状态的类型与使用 151
4.3.1  Keyed State托管状态 152
4.3.2  Operator State托管状态 159
4.4  Checkpoint机制 162
4.4.1  Checkpoint配置 163
4.4.2  State Backends状态后端 164
4.4.3  重启策略 165
4.5  SavePoint机制 169
4.6  本章小结 169
第5章  数据类型与序列化 170
5.1  Flink的数据类型 170
5.1.1  元组类型 171
5.1.2  Java POJOs类型 172
5.1.3  Scala样例类 173
5.1.4  基础类型 174
5.1.5  普通类 175
5.1.6  值类型 177
5.1.7  特殊类型 177
5.2  序列化原理 178
5.3  Flink的序列化过程 181
5.4  序列化的实践 186
5.5  本章小结 186
第6章  DataStream API和DataSet API 187
6.1  DataStream API 187
6.1.1  DataSources数据输入 187
6.1.2  DataSteam转换操作 195
6.1.3  DataSinks数据输出 214
6.2  DataSet API 222
6.2.1  DataSources数据输入 223
6.2.2  DataSet转换操作 227
6.2.3  DataSinks数据输出 235
6.3  迭代计算 238
6.3.1  全量迭代 239
6.3.2  增量迭代 240
6.4  广播变量与分布式缓存 244
6.4.1  广播变量 244
6.4.2  分布式缓存 246
6.5  语义注解 248
6.5.1  Forwarded Fileds注解 248
6.5.2  Non-Forwarded Fileds注解 249
6.5.3  Read Fields注解 250
6.6  本章小结 251
第7章  Table API和SQL 252
7.1  TableEnviroment 252
7.1.1  开发环境构建 253
7.1.2  TableEnvironment基本操作 254
7.1.3  外部连接器 257
7.1.4  时间概念 261
7.1.5  Temporal Tables时态表 263
7.2  WordCount 267
7.3  Table API的操作 268
7.3.1  获取Table 268
7.3.2  输出Table 272
7.3.3  查询Table 275
7.3.4  聚合操作 277
7.3.5  多表关联 278
7.3.6  集合操作 279
7.3.7  排序操作 281
7.4  DataStream、DataSet和Table之间的转换 282
7.4.1  DataStream to Table 283
7.4.2  DataSet to Table 284
7.4.3  Table to DataStream 285
7.4.4  Table to DataSet 287
7.5  window aggregate与non-window aggregate 288
7.6  Flink SQL使用 297
7.6.1  使用SQL CLI客户端 298
7.6.2  在流上运行SQL查询 299
7.6.3  Group Windows窗口操作 300
7.6.4  多表关联 306
7.6.5  集合操作 307
7.6.6  去重操作 308
7.6.7  Top-N操作 310
7.6.8  数据写入 311
7.7  自定义函数 313
7.7.1  Scalar Function 313
7.7.2  Table Function 315
7.7.3  Aggregation Function 317
7.8  本章小结 319
第8章  并行 320
8.1  Flink并行度 320
8.2  TaskManager和Slot 321
8.3  并行度的设置 322
8.3.1  执行环境层面 322
8.3.2  操作算子层面 323
8.3.3  客户端层面 324
8.3.4  系统层面 324
8.3.5  并行度 324
8.4  并行度案例分析 325
8.5  本章小结 329
第9章  Flink部署与应用 330
9.1  Flink集群部署 330
9.1.1  Standalone Cluster部署 330
9.1.2  Yarn Cluster部署 333
9.1.3  Kubernetes Cluster部署 334
9.2  Flink高可用配置 340
9.2.1  Standalone集群高可用配置 340
9.2.2  Yarn Session集群高可用配置 341
9.3  Flink安全管理 341
9.3.1  认证目标 341
9.3.2  认证配置 342
9.3.3  SSL配置 343
9.4  Flink集群升级 344
9.4.1  任务重启 344
9.4.2  状态维护 344
9.4.3  版本升级 344
9.5  本章小结 345
第10章  Flink项目实战 346
10.1  实时数据清洗（实时ETL） 346
10.1.1  需求分析 346
10.1.2  项目架构设计 346
10.1.3  项目代码实现 347
10.2  实时数据报表 357
10.2.1  需求分析 357
10.2.2  项目架构设计 357
10.2.3  项目代码实现 357
10.3  本章小结 362

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态的计算，广泛应用于大数据相关的实际业务场景中。本书是一本从零开始讲解Flink的入门教材，学习本书需要有Java编程基础。 本书共分10章，内容包括Flink开发环境搭建、Flink架构和原理、时间和窗口、状态管理和容错机制、数据类型与序列化、DataStream API和DataSet API、Table API和SQL、Flink并行、Flink部署与应用，后以一个Flink实战项目为例，对Flink相关知识进行综合实践，其中涉及Web页面展示、WebSocket协议和Node.js服务等技术。 本书内容详尽、示例丰富，适合作为Flink初学者的参考书，也非常适合作为高等院校和培训机构大数据及相关专业的师生教学参考。

汪明，中国矿业大学硕士，徐州软件协会副理事长，某创业公司合伙人。从事软件行业十余年，发表论文数十篇。著有图书《Python大数据处理库PySpark实战》《TypeScript实战》《Go并发编程实战》。