Kafka基础架构与设计

图书标准信息

• 作者 智酷道捷内容与产品中心
• 出版社 中国铁道出版社
• 出版时间 2022-03
• 版次 1
• ISBN 9787113288297
• 定价 42.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 240页
• 字数 401千字

【内容简介】

本书主要内容包括Kafka入门与基础、Kafka的生产者、Kafka的消费者、深入Kafka消费者、Kafka的再均衡与分区分配、Kafka的日志与事务、Spark基础以及Kafka与Spark的集成及应用等。本书由多名一线研发工程师联合编写，结构清晰、案例丰富、通俗易懂、实用性强，适合作为高等院校计算机相关专业的程序设计教材，也可作为社会培训学校的培训教材。

【作者简介】

      智酷道捷是中关村智酷双创人才服务股份有限公司下属高科技教育企业。旨在打造“产、学、研、用”双创一体化深度融合的智能化泛IT产教综合服务平台。是一家专注于面向高校提供“产、学、研、用”一体化双创实践性教学解决方案，面向高新技术职业技能持续培育的创新型科技教育企业。公司专注于前沿技术——基于云计算、大数据、以及智能化控制等高新技术开发的全新资源与服务平台。公司借鉴发达国家先进的技术应用教学经验并结合中国国情，创新提出“双创双元、双元双通”理论模型，通过“工程实践中心”这一创新载体，整合高校教育与产业实践应用，基于云平台的大数据反馈和自适应机制，打造形成以产业应用需求为引领，以岗位技能能力图表为核心线索的智能化课程研发体系，将产业应用需求、高校教育过程以及课程研发机制、产教协同育人进行一体化联动和融合，实现双创实践性应用人才智能化、生态化、个性化、本地化培育，为地方企业和高校提供优质的实践性课程与人才服务。

【目录】

章 kafka入门与基础

1.1 kafka初识

1.1.1 kafka的官方解释

1.1.2 kafka的整体架构

1.1.3 消息系统

1.1.4 常见的消息系统

1.1.5 kafka的设计理念

1.1.6 kafka的设计要点

1.1.7 kafka的应用场景

1.2 kafka的基本术语

1.2.1 kafka的主要术语

1.2.2 kafka的类基本术语

1.2.3 kafka的第二类基本术语

1.3 kafka的安装与部署

1.3.1 kafka的环境准备

1.3.2 kafka在linux上的安装

1.3.3 kafka集群安装的作步骤

1.4 kafka的集群规划

1.4.1 kafka的集群虑

1.4.2 kafka服务端的主要参数

小结

题

第2章 kafka的生产者

2.1 kafka生产者初识

2.1.1 主题的基本作

2.1.2 kafka发送消息的流程

2.1.3 kafka的流程

2.1.4 生产者的基本作

2.2 生产者的基本开发

2.2.1 kafka生产者客户端支持的语言

2.2.2 kafka生产者的开发流程

2.2.3 kafka生产者分区策略

2.3 生产者发送消息的方式

2.3.1 kafka消息发送的方式

2.3.2 kafka的异常

2.3.3 kafka的生产者重要配置

2.4 生产者的多线程开发

2.4.1 kafka的多线程使用场景

2.4.2 kafka的多线程开发方式

小结

题

第3章 kafka的消费者

3.1 生产者的自定义组件

3.1.1 消息的发送流程

3.1.2 kafka的自定义组件开发

3.2 kafka消费者初识

3.2.1 kafka消费者概述

3.2.2 消费者与分区的关系

3.2.3 消费者的基本作

3.2.4 消费者offset

3.3 消费者开发入门

3.4 消费者的自定义组件

小结

题

第4章 深入kafka消费者

4.1 序列化和反序列化

4.1.1 认识protobuf

4.1.2 protobuf的安装和序列化方法

4.1.3 protobuf开发序列化和反序列化器

4.2 kafka自动提交

4.2.1 kafka的位移提交以及版本存在的问题

4.2.2 kafka的消息重复和消息丢失

4.2.3 kafka消费的位移管理

4.2.4 kafka的位移提交方式

4.3 kafka手动提交

4.3.1 kafka的手动提交方式和参数

4.3.2 kafka的同步提交

4.3.3 同步提交和异步提交的差异

4.3.4 kafka的异步提交

4.4 kafka控制消费者

小结

题

第5章 kafka的再均衡与分区分配

5.1 kafka特定位移消费

5.1.1 kafka的消费者位移重置

5.1.2 kafka的指定偏移量开发流程

5.2 kafka的再均衡

5.2.1 kafka的再均衡和触发条件

5.2.2 kafka再均衡的generation和器

5.3 kafka的分区策略

5.3.1 kafka的分区分配策略

5.3.2 kafka的rangassignor

5.3.3 kafka的roundrobinassignor

5.3.4 kafka的stickyassignor

5.3.5 kafka的自定义分区策略

小结

题

第6章 kafka的志与事务

6.1 kafka志存储

6.1.1 kafka的志

6.1.2 kafka的志格式

6.1.3 志文件的存储关系

6.1.4 kafka的志回滚

6.1.5 kafka的志查找

6.1.6 kafka的志清理

6.2 kafka的可靠

6.2.1 kafka的可靠机制

6.2.2 leo和hw的更新机制

6.2.3 kafka的hw与leo更新流程

6.3 kafka的幂等

6.3.1 kafka的消息语义

6.3.2 kafka的幂等

6.4 kafka的事务

6.4.1 kafka的事务概念

6.4.2 生产者和消费者并存的事务场景

小结

题

第7章 spark基础

7.1 spark基础知识

7.1.1 spark应用

7.1.2 spark的核心抽象

7.1.3 spark的核心抽象与各组件关系

7.1.4 理解rdd编程

7.1.5 spark的术语

7.1.6 spark的运行

7.1.7 wordcount任务划分

7.1.8 spark的运行架构

7.1.9 spark的下载

7.1.10 spark的源码编译

7.2 sparkstreaming

7.2.1 sparkstreaming基础

7.2.2 scala连接mysql

小结

题

第8章 kafka与spark的集成及应用

8.1 kafka集成sparkstreaming

8.1.1 kafka与sparkstreaming的集成方式

8.1.2 sparkstreaming获取kafka数据的方式

8.1.3 sparkstreaming与kafka的集成

8.2 kafka集成structstreaming

8.2.1 structstreaming和sparkstreaming的对比

8.2.2 stmctstreaming基于sparksql引擎

8.2.3 stmctstreaming编程模型

8.2.4 micro batch和continuous processing

8.2.5 stmctstreaming基础

8.2.6 structstreaming的output modes

8.2.7 structstreaming与kafka

小结

题

练一练参

题参