Kafka指南 妮哈纳克海德Neha 人民邮电出版社
收到书籍不满意联系客服送运费险退货,二手书默认不配有光盘、答案、视频、激活码等附件无法使用,
¥
21.5
3.1折
¥
69
八五品
库存21件
作者妮哈·纳克海德
出版社人民邮电出版社
ISBN9787115473271
出版时间2018-01
装帧平装
开本16开
定价69元
货号9787115473271
上书时间2024-08-07
商品详情
- 品相描述:八五品
- 商品描述
-
作者简介
妮哈·纳克海德(Neha Narkhede), Confluent联合创始人、CTO,曾在LinkedIn知名品牌基于Kafka和Apache Samza构建流式基础设施,是Kafka作者之一。
格温·沙皮拉(Gwen Shapira), Confluent系统架构师,帮助客户构建基于Kafka的系统,在可伸缩数据架构方面拥有十余年经验;曾任Cloudera公司解决方案架构师。另著有《Hadoop应用架构》。
托德·帕利诺(Todd Palino), LinkedIn主任级SRE,负责部署管理大型的Kafka、Zookeeper和Samza集群。
薛命灯,毕业于厦门大学软件学院,十余年软件开发和架构经验,InfoQ社区编辑。译有《硅谷革命》《生产微服务》等书。微信公众号CodeDeep。
目录
序 xiii
前言 xv
第 1 章初识Kafka 1
1.1发布与订阅消息系统 1
1.1.1如何开始 2
1.1.2独立的队列系统 3
1.2Kafka登场 4
1.2.1消息和批次 4
1.2.2模式 4
1.2.3主题和分区 5
1.2.4生产者和消费者 5
1.2.5broker和集群 6
1.2.6多集群 7
1.3为什么选择Kafka 8
1.3.1多个生产者 8
1.3.2多个消费者 8
1.3.3基于磁盘的数据存储 9
1.3.4伸缩性 9
1.3.5高性能 9
1.4数据生态系统 9
1.5起源故事 11
1.5.1LinkedIn的问题 11
1.5.2Kafka的诞生 12
1.5.3走向开源 12
1.5.4命名 13
1.6开始Kafka之旅 13
第 2 章安装Kafka 14
2.1要事先行 14
2.1.1选择操作系统 14
2.1.2安装Java 14
2.1.3安装Zookeeper 15
2.2安装Kafka Broker 17
2.3broker配置 18
2.3.1常规配置 18
2.3.2主题的默认配置 19
2.4硬件的选择 23
2.4.1磁盘吞吐量 23
2.4.2磁盘容量 23
2.4.3内存 23
2.4.4网络 24
2.4.5CPU 24
2.5云端的Kafka 24
2.6Kafka集群 24
2.6.1需要多少个broker 25
2.6.2broker 配置 25
2.6.3操作系统调优 26
2.7生产环境的注意事项 28
2.7.1垃圾回收器选项 28
2.7.2数据中心布局 29
2.7.3共享Zookeeper 29
2.8总结 30
第 3 章Kafka生产者——向Kafka写入数据 31
3.1生产者概览 32
3.2创建Kafka生产者 33
3.3发送消息到Kafka 34
3.3.1同步发送消息 35
3.3.2异步发送消息 35
3.4生产者的配置 36
3.5序列化器 39
3.5.1自定义序列化器 39
3.5.2使用Avro序列化 41
3.5.3在Kafka里使用Avro 42
3.6分区 45
3.7旧版的生产者API 46
3.8总结 47
第 4 章Kafka消费者——从Kafka读取数据 48
4.1KafkaConsumer概念 48
4.1.1消费者和消费者群组 48
4.1.2消费者群组和分区再均衡 51
4.2创建Kafka消费者 52
4.3订阅主题 53
4.4轮询 53
4.5消费者的配置 55
4.6提交和偏移量 57
4.6.1自动提交 58
4.6.2提交当前偏移量 59
4.6.3异步提交 59
4.6.4同步和异步组合提交 61
4.6.5提交特定的偏移量 61
4.7再均衡监听器 62
4.8从特定偏移量处开始处理记录 64
4.9如何退出 66
4.10反序列化器 67
4.11独立消费者——为什么以及怎样使用没有群组的消费者 71
4.12旧版的消费者API 71
4.13总结 72
第 5 章深入Kafka 73
5.1集群成员关系 73
5.2控制器 74
5.3复制 74
5.4处理请求 76
5.4.1生产请求 78
5.4.2获取请求 78
5.4.3其他请求 80
5.5物理存储 81
5.5.1分区分配 81
5.5.2文件管理 82
5.5.3文件格式 83
5.5.4索引 84
5.5.5清理 84
5.5.6清理的工作原理 84
5.5.7被删除的事件 86
5.5.8何时会清理主题 86
5.9总结 86
第 6 章可靠的数据传递 87
6.1可靠性保证 87
6.2复制 88
6.3broker配置 89
6.3.1复制系数 89
6.3.2不完全的首领选举 90
6.3.3最少同步副本 91
6.4在可靠的系统里使用生产者 92
6.4.1发送确认 92
6.4.2配置生产者的重试参数 93
6.4.3额外的错误处理 94
6.5在可靠的系统里使用消费者 94
6.5.1消费者的可靠性配置 95
6.5.2显式提交偏移量 95
6.6验证系统可靠性 97
6.6.1配置验证 98
6.6.2应用程序验证 98
6.6.3在生产环境监控可靠性 99
6.7总结 100
第 7 章构建数据管道 101
7.1构建数据管道时需要考虑的问题 102
7.1.1及时性 102
7.1.2可靠性 102
7.1.3高吞吐量和动态吞吐量 103
7.1.4数据格式 103
7.1.5转换 104
7.1.6安全性 104
7.1.7故障处理能力 104
7.1.8耦合性和灵活性 105
7.2如何在Connect API和客户端API之间作出选择 105
7.3Kafka Connect 106
7.3.1运行Connect 106
7.3.2连接器示例——文件数据源和文件数据池 107
7.3.3连接器示例——从MySQL到ElasticSearch 109
7.3.4深入理解Connect 114
7.4Connect之外的选择 116
7.4.1用于其他数据存储的摄入框架 116
7.4.2基于图形界面的ETL工具 117
7.4.3流式处理框架 117
7.5总结 117
第 8 章跨集群数据镜像 118
8.1跨集群镜像的使用场景 118
8.2多集群架构 119
8.2.1跨数据中心通信的一些现实情况 119
8.2.2Hub和Spoke架构 120
8.2.3双活架构 121
8.2.4主备架构 123
8.2.5延展集群 127
8.3Kafka的MirrorMaker 128
8.3.1如何配置 129
8.3.2在生产环境部署MirrorMaker 130
8.3.3MirrorMaker调优 132
8.4其他跨集群镜像方案 134
8.4.1优步的uReplicator 134
8.4.2Confluent的Replicator 135
8.5总结 135
第 9 章管理Kafka 136
9.1主题操作 136
9.1.1创建主题 137
9.1.2增加分区 138
9.1.3删除主题 138
9.1.4列出集群里的所有主题 139
9.1.5列出主题详细信息 139
9.2消费者群组 140
9.2.1列出并描述群组 140
9.2.2删除群组 142
9.2.3偏移量管理 142
9.3动态配置变更 143
9.3.1覆盖主题的默认配置 143
9.3.2覆盖客户端的默认配置 145
9.3.3列出被覆盖的配置 145
9.3.4移除被覆盖的配置 146
9.4分区管理 146
9.4.1首选的首领选举 146
9.4.2修改分区副本 147
9.4.3修改复制系数 150
9.4.4转储日志片段 151
9.4.5副本验证 152
9.5消费和生产 153
9.5.1控制台消费者 153
9.5.2控制台生产者 155
9.6客户端ACL 157
9.7不安全的操作 157
9.7.1移动集群控制器 157
9.7.2取消分区重分配 157
9.7.3移除待删除的主题 158
9.7.4手动删除主题 158
9.8总结 159
第 10 章监控Kafka 160
10.1度量指标基础 160
10.1.1度量指标在哪里 160
10.1.2内部或外部度量 161
10.1.3应用程序健康检测 161
10.1.4度量指标的覆盖面 161
10.2broker的度量指标 162
10.2.1非同步分区 162
10.2.2broker度量指标 166
10.2.3主题和分区的度量指标 173
10.2.4Java虚拟机监控 174
10.2.5操作系统监控 175
10.2.6日志 176
10.3客户端监控 177
10.3.1生产者度量指标 177
10.3.2消费者度量指标 179
10.3.3配额 181
10.4延时监控 182
10.5端到端监控 183
10.6总结 183
第 11 章流式处理 184
11.1什么是流式处理 185
11.2流式处理的一些概念 186
11.2.1时间 187
11.2.2状态 188
11.2.3流和表的二元性 188
11.2.4时间窗口 189
11.3流式处理的设计模式 190
11.3.1单个事件处理 191
11.3.2使用本地状态 191
11.3.3多阶段处理和重分区 193
11.3.4使用外部查找——流和表的连接 193
11.3.5流与流的连接 195
11.3.6乱序的事件 195
11.3.7重新处理 196
11.4Streams示例 197
11.4.1字数统计 197
11.4.2股票市场统计 199
11.4.3填充点击事件流 201
11.5Kafka Streams的架构概览 202
11.5.1构建拓扑 202
11.5.2对拓扑进行伸缩 203
11.5.3从故障中存活下来 205
11.6流式处理使用场景 205
11.7如何选择流式处理框架 206
11.8总结 208
附录A在其他操作系统上安装Kafka 209
作者介绍 214
封面介绍 214
内容摘要
本书是关于Kafka的全面教程,主要内容包括:Kafka相对于其他消息队列系统的优点,主要是它如何匹配大数据平台开发;详解Kafka内部设计;用Kafka构建应用的实践;理解在生产中部署Kafka的方式;如何确保Kafka集群的安全。本书适合Java开发人员、大数据平台开发人员以及对分布式系统感兴趣的读者阅读。
— 没有更多了 —
以下为对购买帮助不大的评价