Flink原理深入与编程实战

实时数据分析一直是一个热门话题，需要实时数据分析的场景也越来越多，如金融支付中的风控、基础运维中的监控告警、实时大盘等，此外，AI模型也需要依据更为实时的聚合结果来达到很好的预测效果。

Apache Flink是下一代开源大数据处理引擎。它是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算； 可部署在各种集群环境中，对各种大小规模的数据进行快速计算。

Apache Flink已经被证明可以扩展到数千个内核和TB级的应用程序状态，提供高吞吐量和低时延，并支持世界上一些要求很高的流处理应用程序。例如，Apache Flink在2019年阿里巴巴“双11”场景中突破实时计算消息处理峰值，达到25亿条/秒； 2020年“双11”当时的实时计算峰值达到了破纪录的40亿条/秒，数据量也达到了惊人的7TB/s，相当于一秒读完500万本《新华字典》！随着2020年“双11”阿里巴巴基于Flink实时计算场景的成功，毋庸置疑，Flink将会加速成为大厂主流的数据处理框架，最终化身为下一代大数据处理标准。

Apache Flink作为当前热门的实时计算框架之一，是从业人员及希望进入大数据行业的人员必须学习和掌握的大数据技术之一，但是作为大数据的初学者，在学习Flink时通常会遇到以下几个难题： 

(1) 缺少面向零基础读者的Flink入门教程。

(2) 缺少系统化的Flink大数据教程。

(3) 现有的Flink资料、教程或图书较陈旧。

(4) 官方全英文文档难以阅读和理解。

(5) 缺少必要的数据集、可运行的实践案例及学习平台。

特别是Apache Flink从2019年被阿里巴巴收购以后，进入快速版本迭代期，不但版本更新快，而且API变化频繁，笔者在应用和研究Apache Flink时，每当遇到Flink版本更新，就不得不花费大量精力重构已经完成的代码。

为此，一方面是为了笔者自己能更系统、更及时地跟进Flink的演进和迭代； 另一方面也是为了解决面向零基础读者学习Flink（及其他大数据技术）的入门难度，编写了《Flink原理深入与编程实战——Scala Java(微课视频版)》。笔者以为，本书具有以下几个特点： 

(1) 面向零基础读者，知识点深浅适当，代码完整易懂。

(2) 内容全面系统，包括架构原理、开发环境及程序部署、流和批计算等，并特别包含了第7章“基于Flink构建批流一体数仓”和第8章“基于Flink和Iceberg数据湖构建实时数仓”内容。

(3) 所有代码均基于Flink 1.13.2。

(4) 双语实现，大部分示例、案例包含Scala和Java两种语言版本的实现。

为降低读者学习大数据技术的门槛，本书除提供了丰富的上机实践操作和详细的范例程序讲解之外，作者还为购买和使用本书的读者提供了搭建好的Hadoop和Flink大数据开发和学习环境。读者既可以参照本书的讲解自行搭建Hadoop和Flink环境，也可直接使用作者提供的开发和学习环境，快速开始对大数据和Flink的学习。

本书特别适合想要入门并深入掌握Apache Flink、流计算的读者，需要大数据系统参考教材的老师及想要了解最新Flink版本应用的从业人员。

当然，由于笔者水平所限，书中难免存在疏漏，敬请读者批评指正。

辛立伟
2022年10月

教学课件（PPT）

本书源代码

本书讲述Apache Flink大数据框架的原理，以及如果将Apache Flink应用于大数据的实时流处理、批处理、批流一体分析等各个场景。通过原理深入学习和实践示例、案例的学习应用，使读者了解并掌握Apache Flink流处理的框架的基本原理和技能，接近理论与实践的距离。 全书共分为8章，主要内容包括Flink架构与集群安装、Flink开发环境准备（基于IntelliJ IDEA和Maven）、开发Flink实时数据处理程序、Flink流数据分析、时间和水印概念、窗口操作、状态和容错、侧输出流、Flink流连接器、Flink流处理案例、开发Flink批数据处理程序、使用Table API进行数据处理、Flink on YARN、基于Flink构建批流一体数仓、基于Flink和Iceberg数据湖构建实时数仓。本书源码全部在Apache Flink 1.13.2上调试成功，所有示例和案例均提供Scala语言和Java语言两套API的实现（第8章除外），供读者参考。 本书系统讲解了Apache Flink大数据框架的原理和流、批处理的开发实践，内容全面、实例丰富、可操作性强，做到了理论与实践相结合。本书适合大数据学习爱好者、想要入门Apache Flink的读者作为入门和提高的技术参考书，也适合用作大中专院校大数据专业相关的学生和老师的教材或教学参考书。

辛立伟，一个在IT领域摸爬滚打20多年的老程序员、技术培训师、技术作者。横跨Java、数据库、大数据开发与分析、人工智能等多个领域，参与多个IT项目的架构设计与开发。长期坚持撰写技术博客，曾在多个大学讲授Java开发、数据库和大数据技术课程，曾担任中国石油大学（青岛校区）等多所院校的外聘讲师。 

本书除了提供了丰富的上机实践操作和范例程序详细讲解之外，本书作者还为购买和使用本书的读者提供了搭建好的Hadoop和Flink大数据开发和学习环境。读者既可以参照本书的讲解自行搭建Hadoop和Flink环境，也可直接使用作者提供的开始和学习环境，快速开始大数据和Flink的学习。
本书具有以下几个特点： 
(1) 面向零基础读者，知识点深浅适当，代码完整易懂。 
(2) 内容全面系统，包括架构原理、开发环境及程序部署、流和批计算等，并特别包含了第7章“基于Flink构建批流一体数仓”和第8章“基于Flink和数据湖构建实时数仓”内容。 
(3) 所有代码均基于Flink 1.13.2。 
(4) 双语实现，大部分示例、案例，均包含Scala和Java两种语言版本的实现。