Hadoop权威指南(大数据的存储与分析第4版修订版9787302465133
正版图书，可开发票，请放心购买。
￥ 111 7.5折 ￥ 148 全新
库存2件
广东广州
认证卖家担保交易快速发货售后保障
作者(美)汤姆·怀特|译者:王海//华东//刘喻//吕粤海
出版社清华大学
ISBN9787302465133
出版时间2017-07
装帧其他
开本其他
定价148元
货号3875789
上书时间2024-11-26
- 店主推荐
- 最新上架
商品详情
- 品相描述：全新
- 商品描述
-
作者简介
TomWhite是最杰出的Hadoop专家之一。自2007年2月以来，TomWhite一直是ApacheHadoop的提交者(committer)，也是Apache软件基金会的成员。Tom是Cloudera的软件工程师，他是Cloudera的首批员工，对Apache和Cloudera做出了举足轻重的贡献。在此之前，他是一名独立的Hadoop顾问，帮助公司搭建、使用和扩展Hadoop。他是很多行业大会的专题演讲人，比如ApacheCon、OSCON和Strata。Tom在英国剑桥大学获得数学学士学位，在利兹大学获得科学哲学硕士学位。他目前与家人居住在威尔士。
目录
第Ⅰ部分 Hadoop基础知识
第1章 初识Hadoop
1.1 数据！数据！
1.2 数据的存储与分析
1.3 查询所有数据
1.4 不仅仅是批处理
1.5 相较于其他系统的优势
1.5.1 关系型数据库管理系统
1.5.2 网格计算
1.5.3 志愿计算
1.6 Apache Hadoop发展简史
1.7 本书包含的内容
第2章 关于MapReduce
2.1 气象数据集
2.2 使用Unix工具来分析数据
2.3 使用Hadoop来分析数据
2.3.1 map和reduce
2.3.2 Java MapReduce
2.4 横向扩展
2.4.1 数据流
2.4.2 combiner函数
2.4.3 运行分布式的MapReduce作业
2.5 Hadoop Streaming
2.5.1 Ruby版本
2.5.2 Python版本
第3章 Hadoop分布式文件系统
3.1 HDFS的设计
3.2 HDFS的概念
3.2.1 数据块
3.2.2 namenode和datanode
3.2.3 块缓存
3.2.4 联邦HDFS
3.2.5 HDFS的高可用性
3.3 命令行接口
3.4 Hadoop文件系统
3.5 Java接口
3.5.1 从Hadoop URL读取数据
3.5.2 通过FileSystem读取数据
3.5.3 写入数据
3.5.4 目录
3.5.5 查询文件系统
3.5.6 删除数据
3.6 数据流
3.6.1 剖析文件读取
3.6.2 剖析文件写入
3.6.3 一致模型
3.7 通过distcp并行复制
第4章 关于YARN
4.1 剖析YARN应用运行机制
4.1.1 资源请求
4.1.2 应用生命期
4.1.3 构建YARN应用
4.2 YARN与MapReduce 1相比
4.3 YARN中的调度
4.3.1 调度选项
4.3.2 容量调度器配置
……
第Ⅱ部分 关于MapReduce
第Ⅲ部分 Hadoop的操作
第Ⅴ部分 案例学习
内容摘要
汤姆·怀特著的《Hadoop权威指南(大数据的存储与分析第4版修订版&升级版)》结合理论和实践，由浅入深，全方位介绍了Hadoop这一高性能的海量数据处理和分析平台。全书5部分24章，第Ⅰ部分介绍Hadoop基础知识，主题涉及Hadoop、MapReduce、
Hadoop分布式文件系统、YARN、Hadoop的I/O操作。
第Ⅱ部分介绍MapReduce,主题包括MapReduce应用开
发；MapReduce的工作机制、MapReduce的类型与格
式、MapReduce的特性。第Ⅲ部分介绍Hadoop的运维，主题涉及构建Hadoop集群、管理Hadoop。第Ⅳ部分介绍Hadoop相关开源项目，主题涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、
HBase、ZooKeeper。第Ⅴ部分提供了三个案例，分别来自医疗卫生信息技术服务商塞纳(Cerner)、微软的人工智能项目ADAM(一种大规模分布式深度学习框架)和开源项目Cascading(一个新的针对MapReduce的数据处理API)。
本书是一本权威、全面的Hadoop参考书和工具书，阐述了Hadoop生态圈的最新发展和应用，程序员可以从中探索海量数据集的存储和分析，管理员可以从中了解Hadoop集群的安装和运维。
精彩内容
第3章Hadoop分布式文件系统
当数据集的大小超过一台独立的物理计算机的存储能力时，就有必要对它进行分区(partition)并存储到若干台单独的计算机上。管理网络中跨多台计算机存储的文件系统称为分布式文件系统(distributedfilesystem)。该系统架构于网络之上，势必会引入网络编程的复杂性，因此分布式文件系统比普通磁盘文件系统更为复杂。例如，使文件系统能够容忍节点故障且不丢失任何数据，就是一个极大的挑战。
Hadoop自带一个称为HDFS的分布式文件系统，即HadoopDistributedFilesystem。在非正式文档或旧文档以及配置文件中，有时也简称为DFS，它们是一回事儿。HDFS是Hadoop的旗舰级文件系统，也是本章的重点，但实际上Hadoop是一个综合性的文件系统抽象，因此接下来我们将了解将Hadoop与其他存储系统集成的途径，例如本地文件系统和AmazonS3系统。
3.1HDFS的设计HDFS以流式数据访问模式来存储超大文件，运行于商用硬件集群上。①让我们仔细看看下面的描述。
*超大文件“超大文件”在这里指具有几百MB、几百GB甚至几百TB大小的文件。目前已经有存储PB级数据的Hadoop集群了。②*流式数据访问HDFS的构建思路是这样的：一次写入、多次读取是最高效的访问模式。数据集通常由数据源生成或从数据源复制而来，接着长时间在此数据集上进行各种分析。每次分析都将涉及该数据集的大部分数据甚至全部，因此读取整个数据集的时间延迟比读取第一条记录的时间延迟更重要。
*商用硬件Hadoop并不需要运行在昂贵且高可靠的硬件上。它是设计运行在商用硬件(在各种零售店都能买到的普通硬件③)的集群上的，因此至少对于庞大的集群来说，节点故障的几率还是非常高的。HDFS遇到上述故障时，被设计成能够继续运行且不让用户察觉到明显的中断。
同样，那些不适合在HDFS上运行的应用也值得研究。目前HDFS对某些应用领域并不适合，不过以后可能会有所改进。
*低时间延迟的数据访问要求低时间延迟数据访问的应用，例如几十毫秒范围，不适合在HDFS上运行。记住，HDFS是为高数据吞吐量应用优化的，这可能会以提高时间延迟为代价。目前，对于低延迟的访问需求，HBase(参见第20章)是更好的选择。
*大量的小文件由于namenode将文件系统的元数据存储在内存中，因此该文件系统所能存储的文件总数受限于namenode的内存容量。根据经验，每个文件、目录和数据块的存储信息大约占150字节。因此，举例来说，如果有一百万个文件，且每个文件占一个数据块，那至少需要300MB的内存。尽管存储上百万个文件是可行的，但是存储数十亿个文件就超出了当前硬件的能力。④*多用户写入，任意修改文件HDFS中的文件写入只支持单个写入者，而且写操作总是以“只添加”方式在文件末尾写数据。它不支持多个写入者的操作，也不支持在文件的任意位置进行修改。可能以后会支持这些操作，但它们相对比较低效。
— 没有更多了 —
以下为对购买帮助不大的评价