典型Hadoop云计算
上QQ阅读APP看本书,新人免费读10天
设备和账号都新为新人

1.1 云计算概述

“云计算”被称为继个人计算机、互联网之后的第三次信息化革命,通过与相关技术创新要素、商业模式创新要素形成新革命,通过与相关技术创建要素、商业模式创建要素形成有机互动,“云计算”将成为推动电信业乃至广义ICT产业下一轮突破发展的重要驱动力。

1.1.1 云计算的定义

云计算是在2007年第3季度才诞生的新名词,但仅仅过了半年多,其受关注的程度就超过了网格计算(Grid Computing),如图1-1所示。

图1-1 云计算和网络计算在Google中的搜索趋势图

云计算迄今为止还没有统一的定义,不同的组织从不同的角度给出了不同的定义。据不完全统计,至少有25种以上的定义。例如,Gartner认为,云计算是一种使用网络技术并由IT使能而具有可扩展性和弹性能力作为服务提供给多个外部用户的计算方式;美国国家标准与技术实验室对云计算的定义为,云计算是便捷地通过互联网访问一个可定制的IT资源共享池能力按使用量付费的一种模式(IT资源包括网络、服务器、存储、应用和服务),这些资源能够快速部署,并只需要很少的管理工作,与服务供应商进行很少的交互”等。随着应用场景的变化和使能技术的发展,关于云计算的定义还在不断产生新的观点。

云计算将网络上分布的计算、存储、服务构件、网络软件等资源集中起来,基于资源虚拟化的方式,为用户提供方便快捷的服务,其可以实现计算与存储的分布式与并行处理。如果把“云”视为一个虚拟化的存储与计算资源池,那么云计算则是这个资源池基于网络平台为用户提供的数据存储和网络计算服务。互联网是最大的一片“云”,其上的各种计算机资源共同组成了若干个庞大的数据中心及计算中心。

但是,云计算并不是一个简单的技术名词,并不仅仅意味着一项技术或一系列技术的组合。其所指向的是IT基础设施的交付和使用模式,即通过网络以按需、易扩展的方式获得所需的资源(硬件、平台和软件)。提供资源的网络被称为“云”。从更广泛的意义上来看,云计算是指服务的交付和使用模式,即通过网络以按需、易扩展的方式获得所需的服务,这种服务可以是IT基础设施(硬件、平台和软件),也可以是任意其他的服务。无论是狭义还是广义,云计算所秉承的核心理念是“按需服务”,就像人们使用水、电、天然气等资源的方式一样。这也是云计算对于ICT领域乃至于人类社会发展最重要的意义所在。

1.1.2 云计算的特点

之所以称为“云”,是因为它在某些方面具有现实中“云”的特点。

(1)云一般都较大。

(2)云的规模可以动态伸缩,它的边界是模糊的。

(3)云在空中飘忽不定,无法也无须确定它的具体位置,但它确实存在于某处。同时还因为云计算的鼻祖之一——亚马逊公司将大家曾经称为网格计算的东西,取了一个新名字“弹性计算云”(Elastic Computing Cloud),并取得了商业上的成功。

有人将这种模式比喻为从单台发电机供电模式转向了电厂集中供电的模式。其意味着计算能力也可以作为一种商品进行流通,就像煤气、水及电一样,使用方便,费用低廉。最大的不同在于,它是通过互联网进行传递的。

云计算是并行计算(Parallel Computing)、分布式计算(Distributed Computing)及网格计算(Grid Computing)的发展,或者说是这些计算科学概念的商业实现。云计算是虚拟化(Virtualization)、效用计算(Utility Computing)、将基础设施作为服务IaaS(Infrastructure as a Service)、将平台作为服务PaaS(Platform as a Service)和将软件作为服务SaaS(Software as a Service)等概念混合演进并跃升的结果。从研究现状上看,云计算具有以下特点。

(1)超大规模。“云”具有相当的规模,Google云计算已经拥有100多万台服务器,亚马逊、IBM、微软和Yahoo等公司的“云”均拥有几十万台服务器等。“云”能赋予用户前所未有的计算能力。

(2)虚拟化。云计算支持用户随时随地使用各种终端获取服务。所请求的资源来自“云”,而不是固定的有形实体。应用在“云”中某处运行,但实际上用户无须了解应用运行的具体位置,只需要一台笔记本电脑或一部PDA,就可以通过网络服务来获取各种能力超强的服务。

(3)提高设备计算能力。云计算把大量计算资源集中到一个公共资源池中,通过多主租用的方式共享计算资源。虽然单个用户在云计算平台上获得的服务水平受到网络带宽等各因素的影响,未必能获得优于本地主机所提供的服务,但从整个社会资源的角度而言,整体的资源调控降低了部分地区峰值荷载,提高了部分荒废的主机的运行率,从而提高了资源利用率。

(4)高可靠性。“云”使用了数据多容错性、计算节点可互换等措施来保障服务的高可靠性,使用云计算比使用本地计算机更加可靠。

(5)减少设备依赖性。虚拟化层将云平台上方的应用软件和下方的基础设备隔离开来。技术设备的维护者无法看到设备中运行的具体应用。同时对软件层的用户而言,基础设备层是透明的,用户只能看到虚拟化层中虚拟出来的各类设备。这种架构减小了设备依赖性,也使动态的资源配置成为可能。

(6)通用性。云计算不针对特定的应用,在“云”的技术支撑下可以构造出千变万化的应用,同一片“云”可以同时支撑不同的运行程序。

(7)高可扩展性。“云”的规模可以动态伸缩,满足应用和用户规模增长的需要。

(8)弹性服务。云平台管理软件将整合的计算资源根据应用访问的具体情况进行动态调整,包括增大或减小资源的要求。因此云计算对于在非恒定需求的应用,如对需求波动很大、阶段性需求等,具有非常好的应用效果。在云计算环境中,既可以对规律性需求通过事先预测事先分配,也可以根据事先设定的规则进行实时公台调整。弹性的云服务可以帮助用户在任意时间得到满足需求的计算资源。

(9)按需服务。“云”是一个庞大的资源池,用户按需购买,可以像自来水、电和煤气那样计费。

(10)极其廉价。“云”的特殊容错措施使得可以采用极其低价的节点来构成“云”;“云”的自动化管理使数据中心管理成本大大降低;“云”的公用性和通用性使资源的利用率大幅提升;“云”设施可以构建在电力资源丰富的地区,大大降低了能源成本,因此“云”具有前所未有的性价比。

Google中国区前总裁李开复声称:Google每年投入约16亿美元构建云计算数据中心,所获得的能力相当于使用传统技术投入640亿美元,节省了约40倍的成本。因此,用户可以充分享受“云”的低成本优势,需要时,花费几百美元、一天时间就能完成以前需要数万美元、数月时间才能完成的数据处理任务。

1.1.3 云计算的发展史

云计算的起源要先从互联网的演进讲起,如图1-2所示为云计算的演进与由来。云计算从根本上改变了原有的互联网结构,将计算能力从个人终端向服务端靠拢,弱化了端的概念,提高了计算资源的整体利用率。在量化计算资源的基础上,云计算实现了商业模式由设置向服务进化的过程。更令人满意的是,随着全体物联网的发展,云计算被赋予了更为广泛的定义:从连接计算资源到连接所有的人和机器,计算能力也将进一步智能化。

云计算的发展过程如下。

(1)1983年,太阳公司(Sun Microsystems)提出“网络是计算机”(“The Network is the Computer”),2006年3月,亚马逊(Amazon)推出弹性计算云(EC2,Elastic Compute Cloud)服务。

图1-2 云计算的演进与由来

(2)2006年8月9日,Google首席执行官埃里克·施密特(Eric Schmidt)在搜索引擎大会(SES San Jose 2006)首次提出云计算(Cloud Computing)的概念。Google“云端计算”源于Google工程师克里斯托弗·比希利亚所做的“Google 101”项目。

(3)2007年10月,Google与IBM开始在美国大学校园,包括卡耐基梅隆大学、麻省理工学院、斯坦福大学、加州大学伯克利分校及马里兰大学等,推广云计算的计划,这项计划希望能降低分布式计算技术在学术研究方面的成本,并为这些大学提供相关的软、硬件设备及技术支持(包括数百台个人计算机及BladeCenter与System x服务器,这些计算平台将提供1600个处理器,支持包括Linux、Xen、Hadoop等开放源代码平台)。而学生则可以通过网络开发各项以大规模计算为基础的研究计划。

(4)2008年1月30日,Google宣布在中国台湾启动“云计算学术计划”,将与台湾大学、台湾交通大学等学校合作,将这种先进的大规模、快速计算技术推广到校园。

(5)2008年2月1日,IBM(NYSE:IBM)宣布将在中国无锡太湖新城科教产业园为中国的软件公司建立全球第一个云计算中心(Cloud Computing Center)。

(6)2008年7月29日,Yahoo、惠普和Intel宣布一项涵盖美国、德国和新加坡的联合研究计划,推出云计算研究测试床,推进云计算。该计划要与合作伙伴创建6个数据中心作为研究试验平台,每个数据中心配置1400~4000个处理器。这些合作伙伴包括新加坡资讯通信发展管理局、德国卡尔斯鲁厄大学Steinbuch计算中心、美国伊利诺伊大学香宾分校、Intel研究院、惠普实验室和Yahoo。

(7)2008年8月3日,美国专利商标局网站信息显示,戴尔正在申请“云计算”(Cloud Computing)商标,此举旨在加强对这一未来可能重塑技术。

(8)2010年3月5日,Novell与云安全联盟(CSA)共同宣布一项供应商中立计划,名为“可信任云计算计划(Trusted Cloud Initiative)”。

(9)2010年7月,美国国家航空航天局和包括Rackspace、AMD、Intel、戴尔等支持厂商共同宣布“OpenStack”开放源代码计划,微软在2010年10月表示支持OpenStack与Windows Server 2008 R2的集成;而Ubuntu已把OpenStack加至11.04版本中。

(10)2011年2月,思科系统正式加入OpenStack,重点研制OpenStack的网络服务。

(11)2011年10月20日,“盛大云”宣布旗下产品MongoIC正式对外开放,这是中国第一家专业的MongoDB云服务,也是全球第一家支持数据库恢复的MongoDB云服务。

1.1.4 云计算的发展趋势

2011年被称为“云计算实践年”,是云计算从“云端”走向应用的一年,是云计算技术日益完善的一年。在国家快速发展战略性新兴产业及云计算服务创新发展试点示范政策的支持和引导下,各地积极部署,抢先发展,重点企业加快投资跟进,地方政府正在成为新一代云计算基础设施建设的主要推动者。

2011年,云计算产业风起云涌,云计算产业链和生态系统正在快速形成和完善,打造云计算产业基地已成为高新地区发展战略性新兴产业的新机遇。中关村首创“群对群”投资模式为云计算产业投入资金,强力助推北京云计算产业实现“祥云”腾飞。

2011年是国内云计算产业风起云涌的一年。相比2010年,经过一年的市场洗礼及完善,云计算已经从高不可攀的概念逐渐走向富有内涵的实际应用。尽管国外IT巨头仍在引领风潮,国内产学研各界虽然还处于学习和计划阶段,但已经显示出其对云计算的关注和重视。无论是政府、企业,还是高校、研究机构、媒体等,都纷纷加入云计算产业生态的打造中,积极推动中国云计算产业的快速发展。

无论是金融危机促使企业更加关注IT投资的性价比,还是经济复苏给众多中小企业带来快速发展的业务需求,均是带动云计算快速发展的动力。

1.市场发展趋势

中小企业是推动中国云计算发展的主要因素之一。中国拥有世界上数量最多的中小企业。随着中国经济领先走出金融危机的低谷,这些中小企业的业务也随着中国经济的快速增长而突飞猛进地发展。对于这些正处于成长期的中小企业而言,自己投资建设IT基础架构的投资回报率较低,并且很难与业务的快速成长相匹配。此时,云计算的商业模式刚好为这些中小企业提供了合适的解决方案。这些最终用户的需求为中国云计算市场未来几年的高速发展奠定了基石。IDC预计将有大量中小企业将自己的IT基础架构转移到公共云计算平台上。与此同时,会有更多的微型企业(员工人数少于10人)将通过使用云计算运营商的服务而首次拥有自己的IT平台,开始自己的信息化之路。相应地,云计算将促使信息化在中国渗透到更深的层面。在用户需求的推动下,公共云计算运营商将有更大的发展。更多的企业,包括互联网公司、电信运营商等,都开始挺进公共云计算的运营领域。

私有云计算方面同样发展飞速。IDC观察到,大型企业对于建设私有云计算平台的兴趣逐渐增大。过去几年中,大型企业数据中心越来越多地采用虚拟化技术和自动化管理软件,已为建设私有云平台打好了基础。对于大型企业来说,建设私有云计算的主要目的是为了提高IT基础架构的效率,为了更好地支持业务的发展。IDC预计,中国将有更多大型企业开始尝试建设私有云计算平台。私有云计算将成为下一代数据中心(NGDC)建设的主要目标。

2.相关政府政策

由于云计算平台可以为广大中小企业的信息化提供平台基础,同时政府对云计算的理念和技术也非常感兴趣。一些地方政府也逐渐开始建设或扶植当地公司来运营公共云计算中心。可以看到,很多由政府下属的软件园牵头的云计算项目建设正在进行。

对于政府来说,一个运转良好的云计算公共服务平台不仅可以带动区域软件产业的发展,还有助于政府与企业实现共赢。云计算公共服务平台所提供的良好服务能够吸引更多的商业投资,对于地方经济的促进是一项非常重要的举措。不仅如此,国内一直都在倡导建设服务型政府,实现政府的公共服务创新。而云计算公共服务平台从某种意义上来说也是一种技术角色的创新。因此,从长远角度来看,政府层面对云计算的支持将持续。

3.技术条件

国内外近年来在硬件、软件、网络和虚拟化等各方面的技术发展,对云计算的建设也有很大的促进作用。

虚拟化在中国经过几年的市场培育和推广,已经逐步进入健康发展阶段,来自制造业、金融、电信的客户已经开始采用虚拟化技术来优化数据中心的应用。中国市场服务器虚拟化渗透率不断增加,而且所运行的虚拟化应用也逐步向企业核心应用发展。由于云计算平台都是基于虚拟化的环境,因此虚拟化的发展为用户发展云计算提供了良好的条件。

由于所有云计算服务都是基于互联网协议的,而国内的数据网络带宽经过几年来电信运营商的建设,已能够满足大量并发访问和数据传输。同时,我国和国外之间的网络传输质量尚不稳定,因此国内用户使用境外云计算服务提供商的服务时仍面临一定的网络瓶颈。这将会促使更多最终用户寻求国内云计算服务提供商,对于国内的云计算中心建设同样有促进作用。

另外,随着云计算的理念逐渐深入人心,IT供应商也将面临着前所未有的转型。一些硬件和系统软件厂商也将逐步推出“云设备”。这类设备可能是厂商在原有产品基础上针对云计算进行的优化,也有可能是全新的产品,更可能是为快速部署云计算而设计的解决方案产品。因此,由云计算带动的新兴配套产品和服务(主要用于使建立云计算平台更方便、更快捷、更安全和更可靠)的快速发展也将反作用于云计算业务本身,促进云计算的发展。

1.1.5 云计算的基本特征

下面介绍云计算的基本特征。

互联网上的云计算服务特征和自然界的云、水循环具有一定的相似性,通常云计算服务应该具备以下几点特征:

(1)基于虚拟化技术快速部署资源或获得服务。

(2)实现动态的、可伸缩的扩展。

(3)按需求提供资源、按使用量付费。

(4)通过互联网提供、面向海量信息处理。

(5)用户可以方便地参与。

(6)形态灵活,聚散自如。

(7)减小用户终端的处理负担。

(8)降低用户对于IT专业知识的依赖。