前言
2014 年的时候,因为要查找技术资料,我知道了并发编程网(www.ifeve.com,下文简称并发网),后来又加入了它的技术交流群。当时我刚好在学习Storm,由于相关资料太少,不得己买了一本英文版的Getting Started With Storm,很痛苦地研读。那时我想,既然不得不把英文书读一遍,为什么不把它翻译成中文呢,刚好并发网在招募翻译,要引进国外优秀的技术文章,我主动询问能不能把我翻译的内容发到并发网上。从此之后,便开始了我的技术文章翻译之路,利用业余时间完成了Getting Started With Storm 的翻译工作。后来,方腾飞又提供了这一本Big Data Analytics Beyond Hadoop : Real-Time Applications with Storm, Spark, and More Hadoop Alternatives,与支付宝公司的黄经业合作完成了这本书的翻译工作。
本书概述了各种大数据技术在不同领域的应用,可以为想要了解大数据技术的朋友提供必要的指引和概览。在读完本书之后再决定要继续深入学习哪些内容将会事半功倍。
本书的翻译也是互联网上本来互不相识的几人共同促成与努力的结果,又因为本书使我们几人相识。本书译本绝对是互联网精神的绝佳诠释。
感谢方腾飞和郭蕾提供了并发网这样一个技术交流平台。感谢黄经业与我一起完成本书的翻译工作。感谢刘舫对本书的审阅与指正。谢谢大家!
虽然这是本人的第二本译作,但经验与水平实在有限,书中很多专业术语和数学概念对于本人来说实在晦涩艰深,译文不妥之处还请读者海涵,并予以斧正。最后希望本书能为需要了解与学习大数据技术的朋友提供帮助。
吴京润
于2015.1.14 零点
导语摘要
对很多先进的大数据应用来说,Hadoop的Map-RedLice都很难适应,包括实时分析和迭代的机器学习。幸运的是,在遇到Hadoop的短板时,仍存在强大的新选择。
在《颠覆大数据分析(基于StormSpark等Hadoop替代技术的实时应用)》一书中,阿涅斯瓦兰博士介绍了这些技术,以及它们的应用案例,并从架构到代码的不同层面对应用它们做了演示。
阿涅斯瓦兰全面介绍了伯克利数据分析栈(BDAS),包括目标、设计、架构、集群,还有性能。你将在本书中看到最新的Spark、Storm和GrapPhLab的应用案例,与HadoopYARN集成的实践技巧,以及更多技术。
作者简介
Vijay Srinivas Agneeswaran 博士,1998 年于SVCE 的马德拉斯分校获得计算机科学与工程专业的学士学位,2001 年获取了印度理工学院马德拉斯分校的硕士学位(研究性质),2008年又获取了该校的博士学位。他曾在瑞士洛桑的联邦理工学院的分布式信息系统实验室(LSIR)担任过一年的博士后研究员。之前7 年先后就职于Oracle、Cognizant 及Impetus,对大数据及云领域的工程研发贡献颇多。目前担任Impetus 的大数据实验室的执行总监。他的研发团队在专利、论文、受邀的会议发言以及下一代产品创新方面都处于领导地位。他主要研究的领域包括大数据管理、批处理及实时分析,以及大数据的机器学习算法的实现范式。最近8 年来,他一直是计算机协会(ACM)以及电气和电子工程师协会(IEEE)的专家成员,并于2012年12 月被推选为IEEE 的资深成员。他在美国、欧洲以及印度的专利局都申请过专利(并持有美国的两项专利)。他在前沿的期刊及会议,包括IEEE transaction 上都发表过论文。他还是国内外多个会议的特邀发言人,譬如O’Reilly 的Strata 大数据系列会议。最近一次公开发表论文是在Liebertpub 的大数据期刊上。他与妻子及儿女一起居住在班加罗尔,对印度、埃及、巴比伦以及希腊古代的文化与哲学的研究非常感兴趣。
目录
前言
致谢
关于作者
1引言:为什么要超越 Hadoop Map-Reduce
Hadoop的适用范围
大数据分析之机器学习实现的革命 10
第一代机器学习工具 /范式
第二代机器学习工具 /范式
第三代机器学习工具 /范式
小结
参考文献
2何为伯克利数据分析栈(BDAS)
实现 BDAS的动机
Spark:动机
Shark:动机
Mesos:动机
BDAS的设计及架构
Spark:高效的集群数据处理的范式
Spark的弹性分布式数据集
Spark的实现
Spark VS 分布式共享内存系统
RDD的表达性
类似 Spark的系统
Shark:分布式系统上的 SQL接口 46
Spark为 Shark提供的扩展
列内存存储 49
分布式数据加载
完全分区智能连接
分区修剪
机器学习的支持
Mesos:集群调度及管理系统
Mesos组件 52
资源分配
隔离
容错性
小结
参考文献
使用 Spark实现机器学习算法
机器学习基础知识
机器学习:随机森林示例
逻辑回归:概述 72
二元形式的逻辑回归
逻辑回归估计
多元逻辑回归
Spark中的逻辑回归算法
支持向量机
复杂决策面 81
支持向量机背后的数学原理
Spark中的支持向量机
Spark对 PMML的支持
PMML结构
PMML的生产者及消费者
Spark对朴素贝叶斯的 PMML支持
Spark对线性回归的 PMML支持
在 Spark中使用 MLbase进行机器学习
参考文献
实现实时的机器学习算法
Storm简介
数据流
拓扑
Storm集群
简单的实时计算例子
数据流组
Storm的消息处理担保
基于 Storm的设计模式
分布式远程过程调用
Trident:基于 Storm的实时聚合
实现基于 Storm的逻辑回归算法
实现基于 Storm的支持向量机算法
Storm对朴素贝叶斯 PMML的支持
实时分析的应用
工业日志分类
互联网流量过滤器
Storm的替代品
Spark流
D-Streams的动机
参考文献
图处理范式 138
Pregel:基于 BSP的图处理框架
类似的做法
开源的 Pregel实现
Giraph
GoldenORB
Phoebus
Apache Hama
Stanford GPS
GraphLab
GraphLab:多核版本
分布式的 GraphLab
PowerGraph
通过 GraphLab实现网页排名算法
顶点程序
基于 GraphLab实现随机梯度下降算法
参考文献
结论:超越Hadoop Map-Reduce的大数据分析
Hadoop YARN概览
Hadoop YARN的动机
作为资源调度器的 YARN
YARN上的其他框架
大数据分析的未来是怎样的
参考文献
附录 A代码笔记
内容摘要
《颠覆大数据分析:基于Storm、Spark等Hadoop替代技术的实时应用》每章一个主题,介绍了各种大数据分析技术与机器学习算法。本书能够让读者掌握大数据分析和机器学习的相关技术的大致脉络,为之后的进阶学习提供参考与指导。《颠覆大数据分析:基于Storm、Spark等Hadoop替代技术的实时应用》适合大数据技术入门者、希望对大数据技术有所了解,以及想要学习大数据技术但是不知道应该从何处入手的读者阅读。
主编推荐
适读人群 :本书适合大数据技术入门者、希望对大数据技术有所了解,以及想要学习大数据技术但是不知道应该从何处入手的读者阅读。
《颠覆大数据分析:基于Storm、Spark等Hadoop替代技术的实时应用》中,VijayAgneeswaran博士介绍了这些技术,以及它们的应用案例,并从架构到代码的不同层面对应用它们做了演示。
以下为对购买帮助不大的评价