【正版书籍】云计算与大数据

第一篇基础篇

第二篇技术与应用篇

第三篇实 践篇

附录

参考文献

第1章绪论

云计算(Cloud Computing)和大数据(Big Data)的概念对于IT从业人员来说已是耳熟能详了，它们的应用正席卷着IT行业的各个方面。本章将探究云计算和大数据的背景及来历，揭开云计算和大数据身上的迷爱说明云计管与大数掘的概念、特征、应用和发展，尤其是云计算与大数据的关系。

1.1云计算的来历与发展

1.1.1云计算的萌发

云计算的概念实际上起源于20世纪60年代，在那个绝大多数人还没有使用过计算机的时代，来自斯坦福大学的科学家John McCarhy就指出“计算机可能变成一种公共资源”同时代的 Douglas Parkhill 在其著作The Challenge of the Computer Utility 中将计算资源类比为电力资源，并提出了私有资源、公有资源、社区资源等今天被频繁提起的云计算概念。从这些经历我们不得不承认人类的想象力和智慧是推动世界进步的巨大动因，同时可以看到云计算不是一个偶然的技术产物，可以说它是计算机技术演进的必然方向。

1.1.2云计算的诞生

现代的云计算模式诞生于20世纪 90年代末的互联网大潮。1997年，Ramnath Chellapa教授在一次演讲中第一次提出了“云计算”这个词；1999年成立的Salesforce公司是公认的云计算先驱，它主要向企业客户销售基于云的 SaaS(Software as a Service,软件即服务)产品。

Salesforce 公司的成功之处在于它第一次证明了基于云的服务不仅是大型业务系统的廉价替代品，它还是可以真正提高企业运营效率、促进业务发展的解决方案，同时可以在可靠性方面维持一个极高的标准。此后，许多苛刻的企业用户开始全面拥抱云计算，迎来了云计算的发展高潮。

1.1.3云计算的发展

进入21世纪的第一个十年,Amazon接棒Salesforce,推动云计算的快速发展。Amazon是在线零售商，其非常重视客户体验，在发展到一定规模后，它发现自己的数据中心在大部分时间只有不到10%的利用率，剩下90%的资源都闲置着。于是，Amazon开始寻找一种更有效的方式来利用自己庞大的数据中心，它的目的是将计算资源从单一的、特定的业务中解放出来，在空闲时提供给其他有需要的用户。Amazon首先在内部实施这一计划，得到了不错的回馈，接着将这个服务开放给外部用户，并命名为亚马逊网络服务（Amazon WebService,AWS)。初期的AWS是一个简单的线上资源库，并没有引起太大的关注，令AWS名声大噪的是Amazon在2006年发布的EC2(Elastic Compute Cloud)。EC2是业界第一款面向公众提供基础构架的云服务产品，它将云计算的服务对象带入了更广阔的领域。除EC2之外，Amazon还发布了S3、SQS等其他云计算服务，组成了一个完整的AWS产品线，促使云计算成为IT产业的主声部。

继Amazon AWS之后，各种云计算产品层出不穷，Microsoft、Google等巨头纷纷涌进这个领域。除了数量的增长，云计算类型也日益丰富，除了Salesforce和Amazon AWS分别代表 SaaS和laaS(Infrastructure as a Service,设施即服务）两种云计算服务，第三种服务PaaS(Platform as a Service,平台即服务）也快速发展起来了,如2009年发布的Google AppEngine服务。此外，围绕在线资源的应用亦快速出现。比如，2009年，第一个基于AmazonAWS API(Application Program Interface)的私有云平台Eucalyptus 出现。同年，信息研究机构Gartner预测企业用户将从基于设备的IT建设模型往基于单个用户需求的云计算模型转变。

进入21世纪的第二个十年，云计算进入了百花齐放的时代。人们已经不再讨论云计算是否进行，而主要讨论云计算未来的发展方向，研究在大数据时代怎样将云计算的潜力充分发挥出来，从而更好地利用数据。2010-2016年间，云计算功能日趋完善，种类日趋多样，传统企业开始通过自身能力扩展、收购等模式投入云计算服务中。2016-2019年间，通过深度竞争，主流平台产品和标准产品的功能比较健全，市场格局相对稳定，云计算进入成熟阶段。

……

本书在阐述大数据和云计算关系的基础上，介绍了大数据和云计算的基本概念、技术及应用，分为基础篇、技术与应用篇、实践篇共3篇，主要包括绪论、大数据环境下的云计算架构、大数据关键技术与应用、云存储、云服务与云安全、云计算应用、虚拟化技术、Hadoop和Spark平台、分布式文件系统及并行计算框架、分布式数据存储与大数据挖掘等内容。本书结合应用及实践过程来讲解大数据和云计算的相关概念、原理和技术，实用性较强。