事件流实战

图书标准信息

• 作者 瓦伦丁·克雷塔(Valentin Crettaz)著 金中浩 译；[美]亚历山大·德安（Alexander Dean）
• 出版社 清华大学出版社
• 出版时间 2020-08
• 版次 1
• ISBN 9787302559412
• 定价 98.00元
• 装帧 平装
• 开本 16开
• 页数 608页
• 字数 372千字

【内容简介】

Linkedln、Netflix等知名应用都通过实时响应用户和系统事件，来提高灵活度和响应速度。在大规模系统中，需要能高效地监控、管理和处理大量的事件流。
  Kafka工具以及诸如统一日志处理的创新模式可帮助我们为基于事件的系统创建连贯的数据处理架构。
  《事件流实战》讲解如何使用统一日志模式，来聚合、存储和处理事件流。在这本实用指南中，你将看到Lambda架构、流聚合和事件重放处理等重要的系统设计，还将看到扩展、弹性和高级流模式!读完本书，你将能设计出易于构建、部署和维护的由数据驱动的大型应用。
  主要内容
  校验与监控事件流
  事件分析
  事件建模
  Apache Kafka与Amazon Kinesis的使用示例

【作者简介】

‘alexander dean作为共同创始人与技术负责人研发了nowplow analytic，这是一款开源的事件处理与分析台。
valentin crettaz作为一名独立it咨询顾问在过去25年中参与过许多富有挑战的优选项目。她的专业能力涵盖了从软件工程与架构到数据科学与商业智能。她的常工作是在it解决方案中使用当前优选进的web、数据以及流技术，促使it与业务部门的合作更融洽。

金中浩，曾在花旗银行、中国安、360金融担任软件工程师与系统架构师，现为thoughtwork不错咨询顾问。在15年的职业生涯中一直从事金融行业的软件开发与系统架构工作，擅长函数式编程与数据分析，坚信技术能让生活变得更美好。‘

【目录】

第I部分 事件流与统一日志章 事件流 31.1 术语定义 41.1.1 事件 41.1.2 持续事件流 51.2 探寻我们熟悉的事件流 61.2.1 应用级日志 61.2.2 站点分析 81.2.3 发布/订阅消息 91.3 统一持续事件流 111.3.1 古典时代 121.3.2 混合时代 141.3.3 统一时代 151.4 统一日志的应用场景 171.4.1 用户反馈环路 171.4.2 整体系统监控 181.4.3 应用系统版本在线升级 191.5 本章小结 20第2章 统一日志 212.1 深入统一日志 222.1.1 统一 222.1.2 只可追加 232.1.3 分布式 232.1.4 有序性 242.2 引入我们的应用 252.2.1 识别关键事件 262.2.2 电子商务中的统一日志 272.2.3 事件建模 282.3 配置统一日志 302.3.1 下载并安装Apache Kafka 302.3.2 创建流 312.3.3 发送和接收事件 312.4 本章小结 33第3章 使用Apache Kafka进行事件流处理 353.1 事件流处理入门 363.1.1 为什么要处理事件流？ 363.1.2 单事件处理 383.1.3 多事件处理 383.2 设计个流处理程序 393.2.1 将Kafka作为黏合剂 393.2.2 明确需求 403.3 编写一个简单的Kafka worker 423.3.1 配置开发环境 423.3.2 应用配置 433.3.3 从Kafka读取事件 453.3.4 向Kafka写入事件 463.3.5 整合读取与写入 473.3.6 测试 483.4 编写单事件处理器 493.4.1 编写事件处理器 503.4.2 更新main方法 523.4.3 再次测试 533.5 本章小结 54第4章 使用Amazon Kinesis 处理流事件 554.1 向Kinesis写入事件 564.1.1 系统监控与统一日志 564.1.2 与Kafka的术语 差异 584.1.3 配置事件流 584.1.4 事件建模 604.1.5 编写代理程序 604.2 从Kinesis读取事件 654.2.1 Kinesis的框架与SDK 664.2.2 使用AWS CLI读取事件 674.2.3 使用boto监控Kinesis stream 724.3 本章小结 79第5章 有状态的流式处理 815.1 侦测“购物者弃置购物车”事件 825.1.1 管理者的需求 825.1.2 算法定义 825.1.3 派生事件流 835.2 新事件的模型 845.2.1 购物者将商品放入购物车 845.2.2 购物者支付订单 855.2.3 购物者弃置购物车 855.3 有状态的流式处理 865.3.1 状态管理 865.3.2 流窗口 885.3.3 流式处理框架的功能 885.3.4 流式处理框架 895.3.5 为尼罗选择一个流式处理框架 925.4 侦测被弃置的购物车 925.4.1 设计Samza job 925.4.2 项目准备 945.4.3 配置Samza job 945.4.4 使用Java开发job task 965.5 运行Samza job 1015.5.1 YARN 1015.5.2 提交job 1025.5.3 测试job 1025.5.4 改进job 1045.6 本章小结 104第II部分 针对流的数据工程第6章 模式 1076.1 模式介绍 1086.1.1 Plum公司 1086.1.2 将事件模式作为契约 1096.1.3 模式技术的功能 1116.1.4 不同的模式技术 1126.1.5 为Plum公司选择一种模式技术 1146.2 Avro中的事件模型 1146.2.1 准备开发环境 1156.2.2 编写质检事件的模式 1166.2.3 Avro与Java的互相转换 1176.2.4 测试 1206.3 事件与模式的关联 1216.3.1 初步的探索 1216.3.2 Plum公司的自描述事件 1246.3.3 Plum公司的模式注册 1256.4 本章小结 127第7章 事件归档 1297.1 归档者宣言 1307.1.1 弹性 1317.1.2 重复处理 1327.1.3 精准 1337.2 归档的设计 1357.2.1 什么应被归档 1357.2.2 何处进行归档 1367.2.3 如何进行归档 1367.3 使用Secor归档Kafka的事件 1377.3.1 配置 Kafka 1387.3.2 创建事件归档 1407.3.3 配置Secor 1417.4 批处理事件 1437.4.1 批处理入门 1437.4.2 设计批处理任务 1457.4.3 使用Apache Spark编写任务 1467.4.4 使用 Elastic MapReduce运行任务 1517.5 本章小结 156第8章 轨道式流处理 1578.1 异常流程 1588.1.1 UNIX编程中的异常处理 1588.1.2 Java中的异常处理 1608.1.3 异常与日志 1638.2 异常与统一日志 1648.2.1 针对异常的设计 1648.2.2 建立异常事件模型 1668.2.3 组合多个正常处理流程 1688.3 使用Scalaz组合异常 1688.3.1 异常的处理计划 1698.3.2 配置Scala项目 1708.3.3 从Java到Scala 1718.3.4 使用Scalaz更好地处理异常 1748.3.5 组合异常 1758.4 实现轨道式编程 1798.4.1 轨道式处理 1808.4.2 构建轨道 1828.5 本章小结 189第9章 命令 1919.1 命令与统一日志 1929.1.1 事件与命令 1929.1.2 隐式命令与显式命令 1939.1.3 在统一日志中使用命令 1949.2 决策 1959.2.1 Plum公司中的命令 1959.2.2 对命令进行建模 1979.2.3 编写警报的模式 1989.2.4 定义警报的模式 2009.3 消费命令 2019.3.1 合适的工具 2019.3.2 读取命令 2029.3.3 转换命令 2039.3.4 连接各个程序 2059.3.5 测试 2069.4 执行命令 2079.4.1 使用MailGun 2079.4.2 完成executor 2089.4.3 最后的测试 2119.5 扩展命令 2129.5.1 单条流还是多条？ 2129.5.2 处理命令执行的异常 2139.5.3 命令层级 2149.6 本章小结 215第III部分 事件分析0章 读取时分析 21910.1 读取时分析与写入时分析 22010.1.1 读取时分析 22010.1.2 写入时分析 22110.1.3 选择一种解决方案 22210.2 OOPS的事件流 22310.2.1 货车事件与实体 22310.2.2 货车司机事件与实体 22410.2.3 OOPS的事件模型 22410.2.4 OOPS的事件归档 22610.3 使用Amazon Redshift 22710.3.1 Redshift介绍 22710.3.2 配置Redshift 22910.3.3 设计事件数据仓库 23210.3.4 创建事件宽表 23510.4 ETL和ELT 23710.4.1 加载事件 23710.4.2 维度扩展 24010.4.3 数据易变性 24410.5 分析 24410.5.1 分析1：谁更换机油的次数最多？ 24510.5.2 分析2：谁是最不可靠的客户？ 24510.6 本章小结 2471章 写入时分析 24911.1 回到OOPS 25011.1.1 配置Kinesis 25011.1.2 需求收集 25111.1.3 写入时分析算法 25211.2 构建Lambda函数 25611.2.1 配置DynamoDB 25611.2.2 AWS Lambda 25711.2.3 配置Lambda与事件建模 25811.2.4 重温写入时分析算法 26111.2.5 条件写入DynamoDB 26511.2.6 最后的Lambda代码 26811.3 运行Lambda函数 26911.3.1 部署Lambda函数 27011.3.2 测试Lambda函数 27211.4 本章小结 274附录 AWS入门 277A.1 设置AWS账户 277A.2 创建用户 278A.3 设置AWS CLI 283
作者介绍
Alexander Dean作为共同创始人与技术负责人研发了Snowplow Analytics，这是一款开源的事件处理与分析平台。Valentin Crettaz作为一名独立IT咨询顾问在过去25年中参与过许多富有挑战性的全球项目。她的专业能力涵盖了从软件工程与架构到数据科学与商业智能。她的日常工作是在IT解决方案中使用当前最先进的Web、数据以及流技术，促使IT与业务部门的合作更融洽。金中浩，曾在花旗银行、中国平安、360金融担任软件工程师与系统架构师，现为ThoughtWorks高级咨询顾问。在15年的职业生涯中一直从事金融行业的软件开发与系统架构工作，擅长函数式编程与数据分析，坚信技术能让生活变得更美好。
序言