前言
过去的十年是各行各业见证科技颠覆与快速迭代的十年,如果要三言两语说清楚到底是什么样的科技在本质上改变了人们的生活方式、工作方式和社交方式,大多数人也许会说是移动互联网与社交网络,没错,从最终交付到用户的途径来看的确如此。但是如果要从科技的本质上去探讨,我会说是云与大数据在颠覆这一切。云计算只是构成云生态系统的几个重要支柱之一,另外还有云存储、网络、云管理与协同(M&O)、云安全等,缺一不可。不过为了让读者可以一目了然地了解本书所涉猎的内容,笔者还是在书名及行文中保留了云计算的字样。
笔者每天在业界与各行各业的人打交道,时常遇到行业内外的人对云计算与大数据有五花八门的观点、需求与问题,发现有些观点、看法与理解是被“误导”的,很多业务需求和对问题的理解与抽丝剥茧后的事实本质有较大偏差,久而久之就有了结合云与大数据两大议题写书的想法,以期达到解惑的目的。
至于本书内容,笔者先举几个例子。
(1)大数据之深入人心是近两三年的事情,街头巷尾可谓尽人皆知,只要说是做大数据的,人家一定问你是做Hadoop的吗。于是乎,你要不是专攻Hadoop的,你都不好意思跟人家说你在做大数据。那么 Hadoop 能解决所有的大数据的问题吗?答案:当然不是。本书将详细说明为什么大数据不仅仅是Hadoop。
(2)云计算比大数据要早四五年出名,从个人到企业到政府全都蜂拥而来,市场上名头最响的就是那些公有云的服务提供商了,于是有一种普遍性的观点是,不做公有云的(比如私有云、混合云等)就没有掌握云计算的核心科技。事实并非如此!本书从行业与科技发展的来龙去脉,拿数据与事实说话来为大家讲述云层下的故事。
(3)再如软件化与商业化硬件平台,市场上一种普遍的观点认为软件的能力与灵活性无限而硬件的价值创新已经无足轻重,于是所有的数据中心中全面铺设的是基于X86架构的商用硬件平台(Commodity Hardware & COTS,COTS=Commercially/ Commodity Off-the-Shelf)。此种做法值得商榷,两个观点:软件的能力极限是受到下层硬件的限制的;商用硬件架构显然不能解决所有的业务问题,并且也不是最好的(效率最高、性价比最高)问题解决之道。在书中,笔者对COTS的叫法提出了一种不同的声音:VDH=Volume-Discounted Hardware,本质上这才是“互联网+”时代的商业硬件的最终形态:多买多折扣。
那么,随着云计算和大数据风起云涌,我们今天各行各业遇到的挑战与机遇到底是什么?是云计算或大数据系统体系架构的设计与实现,还是最终应用的设计与交付,或是以上两大问题之间各层平台化服务架构的整合与搭建?本书结合笔者在工作实践中经历的一些真实的、颇具代表性的问题做了一些剖析,分享我们的经验,希望对读者的学习、工作与生活能有所助益。
本书以真实的案例和数据为基础,讲述云计算和大数据知识,力求理论联系实际,深入浅出,尽量避免深奥的理论推导,语言尽可能通俗易懂。本书是一本关于云计算和大数据的科普读物。
全书共分为5章,分别是:揭秘云计算、揭秘大数据、云计算与大数据体系架构剖析、云计算与大数据进阶、大数据应用与云平台实战。
第1章揭秘云计算,着重介绍云计算简史、发展历程,与传统IT比较而言云计算的特质,云与业务需求的互动关系,云多重形态的存在与各自特质的介绍,剖析了不同类型云的效率博弈与比较,最后介绍了基于开源项目的云平台及服务的搭建。
第2章揭秘大数据,开篇介绍了大数据的前世今生,并针对当下广泛存在的对大数据的误解进行澄清,然后针对大数据所要解决的5大问题(大数据存储、大数据管理、大数据分析、大数据科学与大数据应用)逐一剖析,最后阐述了大数据科学的本质以及从平台与应用两个维度来分析如何构建大数据的解决方案。
第3章云计算与大数据体系架构剖析,首先从开源vs.闭源的角度阐释了整个业界的软件定义趋势、商用硬件趋势并预言了硬件回归的必然趋势,然后从4个层面剖析了云计算与大数据领域的技术之争—底层存储、基础架构即服务、平台即服务、应用。
第4章云计算与大数据进阶,给读者讲述在云与大数据的时代做什么、怎么做才是对的。内容包括靠近应用(Application Nearness)、水平可扩展(Scale-Out)、如何玩转开源(Open-Source)、怎么做服务驱动(Service-Oriented)的技术架构与运营。
第5章大数据应用与云平台实战,结合业界的具体实践讲解了两个平台建设的案例,一个是大数据平台的搭建,一个是混合云平台的搭建。
编者
2016年8月