Flink 原理、实战与性能优化

开源社区（后文简称“社区”），在社区中发现可以使用的流式框架有很多，例如比较主流的框架、等，（简称“”）也在其中。于是笔者开始对各种流式框架进行详细研究，后发现能同时支持低延迟、高吞吐、的框架只有，从那时起笔者就对这套框架充满兴趣，不管是其架构还是接口，都可以发现其中包含了非常优秀的设计思想。虽然当时在社区的成熟度并不是很高，但笔者还是决定将应用在自己的项目中，自此开启了分布式计算技术应用之旅。

，对于没有分布式处理技术和流式计算经验的人来说会相对比较困难，因为其很难理解有状态计算、数据一致性保障等概念。尤其在相关中文资源比较匮乏的情况下，需要用户在官网以及国外的技术网站中翻阅大量的外文资料，这在一定程度上对学习和应用造成了阻碍。笔者在年参加了一场由中文社区组织的线下交流活动，当时听了很多领域内专家将应用在不同业务场景中的分享，发现这项技术虽然优秀，但是国内尚未有一本能够全面介绍的中文书籍，于是笔者决定结合自己的实际项目经验来完成一本中文书籍，以帮助他人学习和使用这项优秀的分布式处理技术。

年月开源了其内部的分支项目，并推动社区将中优秀的特性合并到主干版本中，一时间在国内的发展被推向了高潮，成为很多公司想去尝试使用的新技术。因此笔者相信未来会有更多的开发者参与到社区中来，也将在未来的大数据生态中占据举足轻重的位置。

进行了深入介绍，包括原理、多种抽象接口的使用，以及的性能监控与调优等方面，因此本书比较适合以下类型的读者。

章，各章节间具有一定的先后关系，对于刚入门的读者，建议从第章开始循序渐进地学习。

开发流式应用，则可以直接阅读第章、第章，以及第章之后的内容；如果想使用开发批计算应用，则可以选择阅读第章以及第章之后的内容。

技术的参考资料相对较少，因此书中有些地方参考了官方文档，读者也可以结合官网来学习。书中的全部源文件可以从网站下载，地址为。同时笔者也会将相应的功能及时更新。如果你有更多宝贵的意见可以通过群或电子邮箱联系笔者，期待能够得到你们的真挚反馈。

的朋友！

的发展历史，然后对批数据和流数据的不同处理接口进行介绍，再对的部署与实施、性能优化等方面进行全面讲解。经过系统完整地了解和学习分布式处理技术之后，可以发现有很多非常先进的概念，以及非常完善的接口设计，这些都能让用户更加有效地处理大数据，特别是流式数据处理。随着大数据技术的不断发展，也在大数据的浪潮中奋勇前行。越来越多的用户也参与到社区的开发中，尤其是近年来随着阿里巴巴的推进，的开源在一定程度上推动了在国内大规模的落地。相信在不久的将来，会逐渐成为国内乃至全球不可或缺的分布式处理引擎，笔者也相信在流式数据处理领域会有新的突破，能够改变目前大部分基于批处理的模式，让分布式数据处理变得更加高效，使得数据处理成本不断降低。

这是一部以实战为导向，能指导读者零基础掌握Flink并快速完成进阶的著作，从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。作者是该领域的资深专家，现就职于第四范式，曾就职于明略数据。

全书一共10章，逻辑上可以分为三个部分：

*部分（第1~2章）

主要介绍了Flink的核心概念、特性、应用场景、基本架构，开发环境的搭建和配置，以及源代码的编译。

第二部分（第3~9章）

详细讲解了Flink的编程范式，各种编程接口的功能、应用场景和使用方法，以及核心模块和组件的原理和使用。

第三部分（第10章）

重点讲解了Flink的监控和优化，参数调优，以及对反压、Checkpoint和内存的优化。

张利兵 

资深架构师，流式计算领域专家，第四范式华东区AI项目架构师，原明略数据华东区大数据架构师。

有多年大数据、流式计算方面的开发经验，对Hadoop、Spark、Flink等大数据计算引擎有着非常深入的理解，积累了丰富的项目实践经验。先后利用相关技术为银行、证券、地铁等领域的头部企业构建了内部大数据平台，参与了基于Flink的实时反欺诈风控、实时地铁故障预警等流式计算平台的设计和研发。

章　介绍1

是什么1

2

3

4

5

6

应用场景8

基本架构10

10

11

13

章　环境准备14

14

项目模板15

实现的项目模板15

实现的项目模板18

开发环境配置20

21

21

应用代码22

22

24

24

24

源码编译25

26

章　编程模型27

27

编程接口29

程序结构30

数据类型37

37

信息获取40

43

章　介绍与使用44

编程模型44

数据输入45

转换操作49

数据输出59

61

61

和63

窗口计算69

70

77

窗口触发器83

数据剔除器87

88

89

多流合并90

95

95

资源组96

异步操作97

98

章　状态管理和容错100

100

和109

检查点机制109

机制111

114

类别114

116

118

123

章　介绍与使用124

124

125

数据接入126

转换操作128

数据输出134

136

136

137

139

139

140

141

注解141

注解143

注解144

145

章　介绍与使用146

概念146

147

基本操作147

155

162

临时表166

167

应用实例167

168

168

173

175

177

178

179

使用179

实例179

180

181

窗口操作182

184

186

187

189

189

189

191

192

193

定义193

定义196

定义199

201

章　组件栈介绍与使用202

复杂事件处理202

203

204

210

212

图计算应用213

213

214

220

226

机器学习应用227

227

229

231

234

235

236

章　部署与应用237

集群部署237

部署238

部署240

部署244

高可用配置247

集群高可用配置248

集群高可用配置250

安全管理251

251

252

配置253

集群升级255

256

256

257

258

章　监控与性能优化259

259

259

261

264

监控与优化266

进程抽样266

页面监控267

配置268

监控与优化268

页面监控268

优化271

内存优化273

内存配置274

配置275

277

这是一部以实战为导向，能指导读者零基础掌握Flink并快速完成进阶的著作，从功能、原理、实战和调优等4个维度循序渐进地讲解了如何利用Flink进行分布式流式应用开发。作者是该领域的资深专家，现就职于第四范式，曾就职于明略数据。

全书一共10章，逻辑上可以分为三个部分：

*部分（第1~2章）

主要介绍了Flink的核心概念、特性、应用场景、基本架构，开发环境的搭建和配置，以及源代码的编译。

第二部分（第3~9章）

详细讲解了Flink的编程范式，各种编程接口的功能、应用场景和使用方法，以及核心模块和组件的原理和使用。

第三部分（第10章）

重点讲解了Flink的监控和优化，参数调优，以及对反压、Checkpoint和内存的优化。

张利兵 

资深架构师，流式计算领域专家，第四范式华东区AI项目架构师，原明略数据华东区大数据架构师。

有多年大数据、流式计算方面的开发经验，对Hadoop、Spark、Flink等大数据计算引擎有着非常深入的理解，积累了丰富的项目实践经验。先后利用相关技术为银行、证券、地铁等领域的头部企业构建了内部大数据平台，参与了基于Flink的实时反欺诈风控、实时地铁故障预警等流式计算平台的设计和研发。