流式系统（影印版）

图书标准信息

• 作者 Tyler Akidau, Slava Chernyak, Reuven Lax
• 出版社 东南大学出版社
• 出版时间 2019-06
• 版次 1
• ISBN 9787564183677
• 定价 128.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 329页
• 字数 431千字

【内容简介】

在传统的数据处理流程中，总是先收集数据，然后将数据放到DB中。当人们需要的时候通过DB对数据做query，得到答案或进行相关的处理。这样看起来虽然非常合理，但是结果却非常的紧凑，尤其是在一些实时搜索应用环境中的某些具体问题，类似于MapReduce方式的离线处理并不能很好地解决问题。这就引出了一种新的数据计算结构---流计算方式。它可以很好地对大规模流动数据在不断变化的运动过程中实时地进行分析，捕捉到可能有用的信息，并把结果发送到下一计算节点。本书讲解流计算原理。

【作者简介】

Tyler Akidau是Google的高级软件工程师，担任着Data Processing Languages & Systems小组技术负责人的职务。他也是Apache Beam PMC的创始成员。

Slava Chernyak是Google的高级软件工程师。他花了六年时间研究Google内部的大规模流式数据处理系统。

Reuven Lax是Google的高级软件工程师，在过去十年间一直在帮助制定Google的数据处理和分析策略，同时他也是Apache Beam PMC的成员。

【目录】

preface or: what are you getting yourself into here?
part ⅰ.the beam model
  1.streaming 101
    terminology: what is streaming?
      on the greatly exaggerated limitations of streaming
      event time versus processing time
    data processing patterns
      bounded data
      unbounded data: batch
      unbounded data: streaming
    summary
  2.the what, where, when, and how of data processing
    roadmap
    batch foundations: what and where
      what: transformations
      where: windowing
    going streaming: when and how
      when: the wonderful thing about triggers is triggers are wonderful things!
      when: watermarks
      when: early/on-time~late triggers ftwi
      when: allowed lateness (i.e., garbage collection
      how: accumulation
    summary
  3.watermarks
    definition
    source watermark creation
      perfect watermark creation
      heuristic watermark creation
    watermark propagation
      understan watermark propagation
      watermark propagation and output timestam
      the tricky case of overlapping windows
    percentile watermarks
    processing-time watermarks
    case studies
      case study: watermarks in google cloud dataflow
      case study: watermarks in apache flink
      case study: source watermarks for google cloud pub/sub
    summary
  4.advanced windowing
    when/where: processing-time windows
      event-time windowing
      processing-time windowing via triggers
      processing-time windowing via ingress time
    where: session windows
    where: custom windowing
      variations on fixed windows
      variations on session windows
      one size does not fit all
    summary
  5.exactly-once and side effects
    why exactly once matters
    accuracy versus pleteness
      side effects
      problem definition
    ensuring exactly once in shuffle
    addressing determinism
    performance
      graph optimization
      bloom filters
      garbage collection
    exactly once in sources
    exactly once in sinks
    use cases
      example source: cloud pub/sub
      example sink: files
      example sink: google bigquery
    other systems
      apache spark streaming
      apache flink
    summary
part ⅱ.streams and tables
  6.streams and tables
    stream-and-table basics or: a spe theory of stream and table relativity
      toward a general theory of stream and table relativity
    batch processing versus streams and tables
      a streams and tables analysis of mapreduce
      reconciling with batch processing
    what, where, when, and how in a streams and tables world
      what: transformations
      where: windowing
      when: triggers
      how: accumulation
      a holistic view of streams and tables in the beam model
    a general theory of stream and table relativity
    summary
  7.the practicalities of persistent state
    motivation
      the inevitability of failure
      correctness and efficiency
    implicit state
      raw grouping
      incremental bining
    generalized state
      case study: conversion attribution
      conversion attribution with apache beam
    summary
  8.streaming sql
    what is streaming sql?
      relational algebra
      time-varying relations
      streams and tables
    looking backward: stream and table biases
      the beam model: a stream-biased approach
      the sql model: a table-biased approach
    looking forward: toward robust streaming sql
      stream and table selection
      temporal operators
    summary
  9.streaming joins
    all your loins are belong to streaming
    unwindowed loins
      full outer
      left outer
      right outer
      inner
      anti
      semi
    windowed loins
      fixed windows
      temporal validity
    summary
  10.the evolution of large-scale data processing
    mapreduce
    hadoop
    flume
    storm
    spark
    millwheel
    kafka
    cloud dataflow
    flink
    beam
    summary
index