Flink入门与实战

图书标准信息

• 作者 汪明
• 出版社 清华大学出版社
• 出版时间 2021-08
• 版次 1
• ISBN 9787302583813
• 定价 89.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 362页
• 字数 614.000千字

【内容简介】

apache flink是一个框架和分布式处理引擎，用于对和有界数据流进行有的计算，广泛应用于大数据相关的实际业务场景中。本书是一本从零开始讲解flink的入门教材，学本书需要有java编程基础。本书共分10章，内容包括flink开发环境搭建、flink架构和、时间和窗、管理和容错机制、数据类型与序列化、datatream api和dataet api、table api和ql、flink并行、flink部署与应用，后以一个flink实战项目为例，对flink相关知识进行综合实践，其中涉及web页面展示、webocket协议和node.j服务等技术。
本书内容详尽、示例丰富，适合作为flink初学者的参书，也非常适合作为高等院校和培训机构大数据及相关专业的师生参。

【作者简介】

汪明，中国矿业大学硕士，徐州软件协会副理事长，某创业公司合伙人。从事软件行业十余年，发表论文数十篇。著有图书《Python大数据处理库PySpark实战》《TypeScript实战》《Go并发编程实战》。

【目录】

章 flink环境搭建 1

1.1 下载安装 1

1.1.1 什么是flink 1

1.1.2 flink用户 3

1.1.3 k安装 4

1.1.4 scala安装 7

1.1.5 python安装 10

1.1.6 finalshell安装 12

1.2 配置与开发工具 15

1.2.1 基础配置 15

1.2.2 idea开发工具 17

1.3 编译 19

1.3.1 scala项目模板 19

1.3.2 java项目模板 24

1.3.3 python项目 28

1.3.4 项目编译 30

1.4 运行flink应用 31

1.4.1 单机standalone模式 31

1.4.2 多机standalone模式 37

1.4.3 on yarn集群模式 37

1.5 本章小结 38

第2章 定义、架构与 39

2.1 流处理的应用场景 39

2.1.1 数据预处理场景 40

2.1.2 预警场景 40

2.1.3 实时数量统计场景 40

2.1.4 数据库交互场景 40

2.1.5 跟踪场景 40

2.1.6 基于数据流的机器学场景 41

2.1.7 实时自动控制场景 41

2.2 流处理的 41

2.2.1 流数据特征 41

2.2.2 dataflow模型 42

2.2.3 数据流图 43

2.2.4 流处理作 45

2.2.5 窗作 46

2.3 flink架构分析 49

2.3.1 flink常见概念 49

2.3.2 flink主从架构 51

2.3.3 任务和算子链 52

2.4 flink中的几个语义——streams、state、time、api 53

2.4.1 streams流 53

2.4.2 state 54

2.4.3 time时间 55

2.4.4 api接 55

2.5 flink组件 56

2.6 本章小结 57

第3章 时间和窗 58

3.1 时间 58

3.1.1 flink中的时间 58

3.1.2 时间的特 60

3.2 timestamp和watermark 61

3.2.1 在sourcefunction中生成 61

3.2.2 在assigntimestamandwatermarks中生成 64

3.2.3 watermarks传播机制 83

3.3 eventtime+watermark解决乱序数据 95

3.3.1 无迟到的乱序数据 96

3.3.2 有迟到的乱序数据 104

3.4 windowassigner、evictor以及trigger 109

3.4.1 windowassigner 111

3.4.2 trigger 116

3.4.3 evictor 122

3.5 window实现 126

3.5.1 flink window源码分析 126

3.5.2 flink window执行过程 130

3.6 window使用 131

3.6.1 time window 131

3.6.2 count window 135

3.6.3 session window 138

3.6.4 自定义window 140

3.7 window聚合分类 144

3.7.1 增量聚合 144

3.7.2 全量聚合 146

3.8 本章小结 149

第4章 管理及容错机制 150

4.1 什么是 150

4.2 什么场景会用到 150

4.3 的类型与使用 151

4.3.1 keyed state托管 152

4.3.2 operator state托管 159

4.4 checkpoint机制 162

4.4.1 checkpoint配置 163

4.4.2 state backends后端 164

4.4.3 重启策略 165

4.5 savepoint机制 169

4.6 本章小结 169

第5章 数据类型与序列化 170

5.1 flink的数据类型 170

5.1.1 元组类型 171

5.1.2 java pojos类型 172

5.1.3 scala样例类 173

5.1.4 基础类型 174

5.1.5 普通类 175

5.1.6 值类型 177

5.1.7 特殊类型 177

5.2 序列化 178

5.3 flink的序列化过程 181

5.4 序列化的很好实践 186

5.5 本章小结 186

第6章 datastream api和dataset api 187

6.1 datastream api 187

6.1.1 datasources数据输入 187

6.1.2 datasteam转换作 195

6.1.3 datasinks数据输出 214

6.2 dataset api 222

6.2.1 datasources数据输入 223

6.2.2 dataset转换作 227

6.2.3 datasinks数据输出 235

6.3 迭代计算 238

6.3.1 全量迭代 239

6.3.2 增量迭代 240

6.4 广播变量与分布式缓存 244

6.4.1 广播变量 244

6.4.2 分布式缓存 246

6.5 语义注解 248

6.5.1 forwarded fileds注解 248

6.5.2 non-forwarded fileds注解 249

6.5.3 read fields注解 250

6.6 本章小结 251

第7章 table api和sql 252

7.1 tableenviroment 252

7.1.1 开发环境构建 253

7.1.2 tableenvironment基本作 254

7.1.3 外部连接器 257

7.1.4 时间概念 261

7.1.5 temporal tables时态表 263

7.2 wordcount 267

7.3 table api的作 268

7.3.1 获取table 268

7.3.2 输出table 272

7.3.3 查询table 275

7.3.4 聚合作 277

7.3.5 多表关联 278

7.3.6 集合作 279

7.3.7 排序作 281

7.4 datastream、dataset和table之间的转换 282

7.4.1 datastream to table 283

7.4.2 dataset to table 284

7.4.3 table to datastream 285

7.4.4 table to dataset 287

7.5 window aggregate与non-window aggregate 288

7.6 flink sql使用 297

7.6.1 使用sql cli客户端 298

7.6.2 在流上运行sql查询 299

7.6.3 group windows窗作 300

7.6.4 多表关联 306

7.6.5 集合作 307

7.6.6 去重作 308

7.6.7 top-n作 310

7.6.8 数据写入 311

7.7 自定义函数 313

7.7.1 scalar function 313

7.7.2 table function 315

7.7.3 aggregation function 317

7.8 本章小结 319

第8章 并行 320

8.1 flink并行度 320

8.2 taskmanager和slot 321

8.3 并行度的设置 322

8.3.1 执行环境层面 322

8.3.2 作算子层面 323

8.3.3 客户端层面 324

8.3.4 系统层面 324

8.3.5 优选并行度 324

8.4 并行度案例分析 325

8.5 本章小结 329

第9章 flink部署与应用 330

9.1 flink集群部署 330

9.1.1 standalone cluster部署 330

9.1.2 yarn cluster部署 333

9.1.3 kuberes cluster部署 334

9.2 flink高可用配置 340

9.2.1 standalone集群高可用配置 340

9.2.2 yarn session集群高可用配置 341

9.3 flink安全管理 341

9.3.1 认证目标 341

9.3.2 认证配置 342

9.3.3 ssl配置 343

9.4 flink集群升级 344

9.4.1 任务重启 344

9.4.2 维护 344

9.4.3 版本升级 344

9.5 本章小结 345

0章 flink项目实战 346

10.1 实时数据清洗（实时etl） 346

10.1.1 需求分析 346

10.1.2 项目架构设计 346

10.1.3 项目代码实现 347

10.2 实时数据报表 357

10.2.1 需求分析 357

10.2.2 项目架构设计 357

10.2.3 项目代码实现 357

10.3 本章小结 362