大数据技术丛书：Flume日志收集与MapReduce模式

图书标准信息

• 作者 [美]史蒂夫·霍夫曼（Steve Hoffman）、斯里纳特·佩雷拉（Srinath Perera） 著；张龙 译
• 出版社 机械工业出版社
• 出版时间 2015-06
• 版次 1
• ISBN 9787111502074
• 定价 39.00元
• 装帧 平装
• 开本 32开
• 纸张 胶版纸
• 页数 164页
• 正文语种 简体中文
• 丛书 大数据技术丛书

【内容简介】

　　《大数据技术丛书：Flume日志收集与MapReduce模式》分为上下两篇，其中上篇介绍了HDFS以及流式数据/日志的问题，同时还谈到了Flume是如何解决这些问题的。《大数据技术丛书：Flume日志收集与MapReduce模式》展示了Flume的架构，包括将数据移动到数据库中以及从数据库中获取数据、NoSQL数据存储和性能调优。对于各个架构组件（源、通道、接收器、通道处理器、接收器组等），都提供了详尽的各种实现以及配置选项，你可以借此根据自己的需要来定制Flume。同时，还介绍了如何编写自定义的实现，这将有助于你的学习与实现。下篇简洁明快地介绍了Hadoop以及如何使用MapReduce进行编程，旨在帮助读者快速起步并对使用Hadoop进行编程有个总体的认识，通过《大数据技术丛书：Flume日志收集与MapReduce模式》的学习，你将具备坚实的基础并可以解决遇到的各种MapReduce问题。

【目录】

译者序
前言
上篇Flume日志收集
第1章概览与架构
1.1Flume0.9
1.2Flume1.X（Flume-NG）
1.3HDFS与流式数据/日志的问题
1.4源、通道与接收器
1.5Flume事件
1.5.1拦截器、通道选择器与选择处理器
1.5.2分层数据收集（多数据流与代理）
1.6小结

第2章Flume快速起步
2.1下载Flume
2.2Flume配置文件概览
2.3从“HelloWorld”开始
2.4小结

第3章通道
3.1内存通道
3.2文件通道
3.3小结

第4章接收器与接收处理器
4.1HDFS接收器
4.1.1路径与文件名
4.1.2文件转储
4.2压缩编解码器
4.3事件序列化器
4.3.1文本输出
4.3.2带有头信息的文本
4.3.3ApacheAvro
4.3.4文件类型
4.3.5超时设置与线程池
4.4接收器组
4.4.1负载均衡
4.4.2故障恢复
4.5小结

第5章源与通道选择器
5.1使用tail的问题
5.2exec源
5.3假脱机源
5.4syslog源
5.4.1syslogUDP源
5.4.2syslogTCP源
5.4.3多端口syslogTCP源
5.5通道选择器
5.5.1复制
5.5.2多路复用
5.6小结

第6章拦截器、ETL与路由
6.1拦截器
6.1.1Timestamp
6.1.2Host
6.1.3Static
6.1.4正则表达式过滤
6.1.5正则表达式抽取
6.1.6自定义拦截器
6.2数据流分层
6.2.1Avro源/接收器
6.2.2命令行Avro
6.2.3Log4J追加器
6.2.4负载均衡Log4J追加器
6.3路由
6.4小结

第7章监控Flume
7.1监控代理进程
7.1.1Monit
7.1.2Nagios
7.2监控性能度量情况
7.2.1Ganglia
7.2.2内部HTTP服务器
7.2.3自定义监控钩子
7.3小结

第8章万法皆空——实时分布式数据收集的现状
8.1传输时间与日志事件
8.2万恶的时区
8.3容量规划
8.4多数据中心的注意事项
8.5合规性与数据失效
8.6小结

下篇MapReduce模式
第9章使用Java编写一个单词统计应用（初级）
9.1准备工作
9.2操作步骤
9.3示例说明

第10章使用MapReduce编写一个单词统计应用并运行（初级）
10.1准备工作
10.2操作步骤
10.3示例说明
10.4补充说明

第11章在分布式环境中安装Hadoop并运行单词统计应用（初级）
11.1准备工作
11.2操作步骤
11.3示例说明

第12章编写格式化器（中级）
12.1准备工作
12.2操作步骤
12.3示例说明
12.4补充说明

第13章分析——使用MapReduce绘制频度分布（中级）
13.1准备工作
13.2操作步骤
13.3示例说明
13.4补充说明

第14章关系操作——使用MapReduce连接两个数据集（高级）
14.1准备工作
14.2操作步骤
14.3示例说明
14.4补充说明

第15章使用MapReduce实现集合操作（中级）
15.1准备工作
15.2操作步骤
15.3示例说明
15.4补充说明

第16章使用MapReduce实现交叉相关（中级）
16.1准备工作
16.2操作步骤
16.3示例说明
16.4补充说明

第17章使用MapReduce实现简单搜索（中级）
17.1准备工作
17.2操作步骤
17.3示例说明
17.4补充说明

第18章使用MapReduce实现简单的图操作（高级）
18.1准备工作
18.2操作步骤
18.3示例说明
18.4补充说明

第19章使用MapReduce实现Kmeans（高级）
19.1准备工作
19.2操作步骤
19.3示例说明
19.4补充说明