FLINK基础入门

本书的创作公司——江苏传智播客教育科技股份有限公司（简称“传智教育”）作为我国第一个实现A股IPO上市的教育企业，是一家培养高精尖数字化专业人才的公司，主要培养人工智能、大数据、智能制造、软件开发、区块链、数据分析、网络营销、新媒体等领域的人才。传智教育自成立以来贯彻国家科技发展战略，讲授的内容涵盖了各种前沿技术，已向我国高科技企业输送数十万名技术人员，为企业数字化转型、升级提供了强有力的人才支撑。
传智教育的教师团队由一批来自互联网企业或研究机构，且拥有10年以上开发经验的IT从业人员组成，他们负责研究、开发教学模式和课程内容。传智教育具有完善的课程研发体系，一直走在整个行业的前列，在行业内树立了良好的口碑。传智教育在教育领域有两个子品牌： 黑马程序员和院校邦。
一、 黑马程序员——高端IT教育品牌
黑马程序员的学员多为大学毕业后想从事IT行业，但各方面的条件还达不到岗位要求的年轻人。黑马程序员的学员筛选制度非常严格，包括严格的技术测试、自学能力测试、性格测试、压力测试、品德测试等。严格的筛选制度确保了学员质量，可在一定程度上降低企业的用人风险。
自黑马程序员成立以来，教学研发团队一直致力于打造精品课程资源，不断在产、学、研3个层面创新自己的执教理念与教学方针，并集中黑马程序员的优势力量，有针对性地出版了计算机系列教材百余种，制作教学视频数百套，发表各类技术文章数千篇。
二、 院校邦——院校服务品牌
院校邦以“协万千院校育人、助天下英才圆梦”为核心理念，立足于中国职业教育改革，为高校提供健全的校企合作解决方案，通过原创教材、高校教辅平台、师资培训、院校公开课、实习实训、协同育人、专业共建、“传智杯”大赛等，形成了系统的高校合作模式。院校邦旨在帮助高校深化教学改革，实现高校人才培养与企业发展的合作共赢。
（一） 为学生提供的配套服务
1. 请同学们登录“传智高校学习平台”，免费获取海量学习资源。该平台可以帮助同学们解决各类学习问题。
2. 针对学习过程中存在的压力过大等问题，院校邦为同学们量身打造了IT学习小助手——“邦小苑”(微信公众号)，可为同学们提供教材配套学习资源。
（二） 为教师提供的配套服务
1. 院校邦为其所有教材精心设计了“教案 授课资源 考试系统 题库 教学辅助案例”的系列教学资源。教师可登录“传智高校教辅平台”免费使用。
2. 针对教学过程中存在的授课压力过大等问题，教师可添加“码大牛” QQ（2770814393），或者添加“码大牛”微信（18910502673），获取最新的教学辅助资源。〖JY,2〗〖HT4"K〗〖HL(1〗传智教育2021年1月〖HL)〗〖HT〗Flink基础入门
党的二十大指出“加快发展数字经济，促进数字经济和实体经济深度融合，打造具有国际竞争力的数字产业集群”。随着云时代的来临，移动互联网、电子商务、物联网以及社交媒体快速发展，全球的数据正在以几何速度呈暴发性增长，大数据吸引了越来越多的人关注，此时数据已经成为与物质资产和人力资本同样重要的基础生产要素，如何对这些海量的数据进行存储和分析处理成为了一个热门的研究课题，基于这种需求，众多分布式系统应运而生。
Flink在实时数据处理和分析方面具有卓越的能力，它能够处理大规模数据流，并提供低延迟和高吞吐量的数据处理能力。同时，Flink的灵活性和可扩展性使得它适用于各种不同的应用场景。在国内外的大型互联网公司、金融机构和电信运营商等领域，Flink已经广泛应用，并被视为实时流处理的先驱和领导者。本书的目标是帮助读者快速掌握Flink的核心概念和技术，从而能够在实践中应用Flink来处理大规模数据流。
本书基于Flink 1.16.0，循序渐进地介绍了Flink的相关知识，适合有一定Java编程基础和大数据基础的爱好者阅读。本书共分9章，其中，第1章主要带领大家了解数据处理架构和Flink的核心概念；第2章主要演示如何在VMware Workstation安装操作系统为CentOS Stream 9的虚拟机，并且分别基于Standalone和Flink On YARN模式部署Flink，以及Flink的基础应用；第3、4章主要讲解了如何使用DataStream API和DataSet API实现Flink应用程序；第5章主要讲解了时间概念和窗口操作，并基于事件时间实现不同类型的窗口操作；第6章主要讲解了状态和容错机制，包括状态管理和使用、故障恢复、Checkpoint等；第7、8章主要讲解了如何使用Table API & SQL实现Flink应用程序；第9章主要讲解了如何通过Flink CEP处理复杂事件。
在学习过程中，如果读者在理解知识点的过程中遇到困难，建议不要纠结于某个地方，可以先往后学习。通常来讲，通过逐渐深入的学习，前面不懂和有疑惑的知识点也就能够理解了。在学习编程和部署环境的过程中，一定要多动手实践，如果在实践的过程中遇到问题，建议多思考，理清思路，认真分析问题发生的原因，并在问题解决后总结出经验。
致谢
本书的编写和整理工作由江苏传智播客教育科技股份有限公司完成，主要参与人员有高美云、张明强等，全体参编人员在编写过程中付出了许多辛勤的汗水，在此一并表示衷心的感谢。
意见反馈
尽管我们尽了最大的努力，但书中难免会有不妥之处，欢迎各界专家和读者提出宝贵意见。您在阅读本书时，如果发现任何问题或有不认同之处，可以通过电子邮件与我们取得联系。请发送电子邮件至itcast_book@vip.sina.com。

黑马程序员2024年5月于北京 

本书以Flink 1.16.0为主线，全面介绍了Flink的核心概念和常用功能。全书共9章，分别讲解了Flink概述，Flink部署与应用，DataStream API，DataSet API，时间与窗口，状态和容错机制，Table API&SQL和Flink CEP。
本书附有配套视频、教学课件、教学设计、测试题等资源，同时，为了帮助初学者更好地学习本书内容，还提供了在线答疑，欢迎读者关注。
本书可作为高等教育本、专科院校数据科学与大数据技术及相关专业的教材，还适合大数据开发初学者、大数据运维人员以及大数据分析与挖掘的从业者阅读。

第1章Flink概述1
1.1数据处理架构的演变1
1.1.1传统数据处理架构1
1.1.2有状态流处理架构3
1.1.3Lambda架构3
1.1.4新一代流处理架构4
1.2初识Flink5
1.3Flink的关键特性6
1.4Flink的应用场景7
1.5Flink运行时架构8
1.5.1整体架构8
1.5.2作业管理器9
1.5.3任务管理器10
1.6Flink分层API11
1.7Flink程序结构12
1.8本章小结12
1.9课后习题12
第2章Flink部署与应用14
2.1基础环境搭建14
2.2Flink部署模式15
2.3Standalone模式之伪分布式17
2.4Standalone模式之完全分
布式18
2.5Standalone模式之高可用
完全分布式20
2.6Flink On YARN模式27
2.7启动Flink33
2.7.1Session模式33
2.7.2Application模式37
2.8flink命令39
2.8.1flink命令的使用39
2.8.2提交作业39
2.8.3查看作业44
2.8.4停止和取消作业50
2.9Flink Web UI54
2.9.1Flink Web UI的访问 … 54
2.9.2使用Flink Web UI
操作作业57
2.10本章小结61
2.11课后习题61
目录Flink基础入门第3章DataStream API63
3.1DataStream程序的开发流程 … 63
3.2DataStream的数据类型64
3.3执行环境65
3.4数据输入67
3.4.1从集合读取数据67
3.4.2从文件读取数据70
3.4.3从Socket读取数据72
3.4.4从Kafka读取数据73
3.4.5自定义Source78
3.5数据转换80
3.5.1map80
3.5.2flatMap82
3.5.3filter83
3.5.4keyBy85
3.5.5reduce88
3.5.6union90
3.6数据输出92
3.6.1输出到文件92
3.6.2输出到Socket96
3.6.3输出到Kafka97
3.7应用案例——词频统计99
3.8本章小结100
3.9课后习题100
第4章DataSet API 102
4.1DataSet程序的开发流程102
4.2执行环境103
4.3数据输入105
4.3.1从文件读取数据105
4.3.2从集合读取数据109
4.3.3从MySQL读取数据 … 111
4.4数据转换118
4.4.1去重118
4.4.2连接119
4.4.3聚合124
4.4.4分组125
4.4.5分区128
4.5数据输出130
4.5.1输出到文件130
4.5.2输出到MySQL132
4.6应用案例——统计热门
品牌Top10134
4.7本章小结134
4.8课后习题134
第5章时间与窗口136
5.1时间概念136
5.2窗口分类138
5.3键控和非键控窗口142
5.4窗口分配器144
5.5窗口函数146
5.5.1ReduceFunction146
5.5.2AggregateFunction147
5.5.3ProcessFunction152
5.5.4窗口函数结合使用154
5.6水位线157
5.6.1什么是水位线157
5.6.2使用水位线159
5.6.3应用案例——统计电商
网站交易数据162
5.7窗口触发器162
5.8窗口驱逐器166
5.8.1内置驱逐器166
5.8.2自定义驱逐器168
5.9处理延迟数据171
5.9.1通过Allowed Lateness
处理延迟数据171
5.9.2通过Side Outputs处理
延迟数据173
5.10本章小结175
5.11课后习题176
第6章状态和容错机制177
6.1状态概述177
6.2状态管理179
6.2.1声明状态179
6.2.2定义状态描述器180
6.2.3操作状态182
6.3使用状态183
6.3.1使用键控状态183
6.3.2使用算子状态188
6.4Checkpoint190
6.4.1Checkpoint概述190
6.4.2配置Checkpoint192
6.5State Backend196
6.6故障恢复198
6.7本章小结200
6.8课后习题200
第7章Table API & SQL（一）202
7.1Table程序结构202
7.2数据类型203
7.3执行环境205
7.4Catalog操作206
7.4.1注册Catalog206
7.4.2查看Catalog210
7.4.3使用Catalog212
7.5数据库操作213
7.5.1创建数据库213
7.5.2查看数据库215
7.5.3使用数据库217
7.5.4修改数据库218
7.5.5删除数据库219
7.6表操作220
7.6.1创建表220
7.6.2创建Table对象227
7.6.3查看表228
7.6.4修改表230
7.6.5修改Table对象232
7.6.6删除表234
7.6.7输出表236
7.7查询操作239
7.7.1基本查询239
7.7.2条件查询241
7.7.3去重查询243
7.7.4连接查询244
7.7.5集合查询251
7.7.6排序查询259
7.7.7分组查询262
7.8本章小结265
7.9课后习题265
第8章Table API & SQL（二）266
8.1函数266
8.1.1内置函数266
8.1.2自定义函数273
8.1.3注册自定义函数276
8.1.4使用自定义函数278
8.2DataStream与Table对象的
转换282
8.3时间属性285
8.4窗口操作287
8.4.1Group Window287
8.4.2Over Window293
8.5本章小结298
8.6课后习题298
第9章Flink CEP300
9.1Flink CEP基本概述300
9.2模式301
9.2.1个体模式301
9.2.2组合模式303
9.3模式的定义305
9.3.1定义个体模式305
9.3.2定义个体模式的条件 … 309
9.3.3定义组合模式313
9.3.4模式组314
9.3.5匹配后跳过策略315
9.4使用模式检测数据流317
9.5处理超时事件328
9.6处理延迟事件332
9.7应用案例——直播平台检测
刷屏用户333
9.8本章小结333
9.9课后习题334

本书以Flink 1.16.0为主线，全面介绍了Flink的核心概念和常用功能。全书共9章，分别讲解了Flink概述，Flink部署与应用，DataStream API，DataSet API，时间与窗口，状态和容错机制，Table API&SQL和Flink CEP。
本书附有配套视频、教学课件、教学设计、测试题等资源，同时，为了帮助初学者更好地学习本书内容，还提供了在线答疑，欢迎读者关注。
本书可作为高等教育本、专科院校数据科学与大数据技术及相关专业的教材，还适合大数据开发初学者、大数据运维人员以及大数据分析与挖掘的从业者阅读。

本书从Flink的概念入手，进而讲解Flink相关架构和原理，帮助读者从搭建Flink集群到使用DataStream API、DataSet API和Table API&SQL实现Flink应用程序的过程进行详细讲解，并在本书的最后一章通过一个项目案例对Flink的综合运用进行讲解。本书共分为9个章节。第1章主要介绍了Flink的理论性知识，包括数据处理架构的演变、Flink关键特性、Flink应用场景、Flink批流模型、Flink集群运行架构等。第2章主要讲解了Flink的部署，包括虚拟机的安装、Linux操作系统的配置、JDK部署、集群部署之Flink on YARN、集群部署之Standalone、本地模式部署，以及介绍了如何了Flink命令行界面和SQL Client的使用。第3章主要讲解了如何使用DataStream API实现Flink应用程序，包括DataStream程序结构、DataStream数据类型、创建执行环境、创建数据源、创建接收器、转换操作以及涵盖本章整体知识体系的案例。第4章主要讲解了如何使用DataSet API实现Flink应用程序，包括DataSet程序结构、创建执行环境、创建数据源、创建接收器、转换操作以及涵盖本章整体知识体系的案例。第5章主要讲解了Flink的时间和窗口，包括时间概念、窗口分配器、Watermark、窗口函数、窗口触发器等。第6章主要讲解了Flink的状态和容错机制，包括状态概述、Checkpoint、State Backend、状态编程等。第7章主要讲解了如何使用Table API&SQL实现Flink应用程序，包括Table程序结构、数据类型、Catalog操作、数据库管理、表操作以及查询操作等。第8章内容对使用Table API&SQL实现Flink应用程序的内容进行深入讲解，包括内置函数和自定义函数的使用、DataStream与表的转换、时间属性以及窗口操作等。第9章通过综合项目-电商用户行为分析对Flink的综合运用进行操作和讲解，包括项目概述、需求分析、项目架构、以及实时统计不同需求等。 
本书附有配套视频、教学PPT、教学设计、测试题等资源，同时，为了帮助初学者更好地学习本书中的内容，还提供了在线答疑，欢迎读者关注。