欢迎来到优发表网

购物车(0)

期刊大全 杂志订阅 SCI期刊 期刊投稿 出版社 公文范文 精品范文

云计算技术及其应用范文

时间:2023-07-28 16:33:31

序论:在您撰写云计算技术及其应用时,参考他人的优秀作品可以开阔视野,小编为您整理的7篇范文,希望这些建议能够激发您的创作热情,引导您走向新的创作高度。

云计算技术及其应用

第1篇

随着信息技术的不断发展,传统计算机模式已远远无法满足人们日益增加的信息需求,企业、个人利用计算机网络处理的信息数据量也越来越大,正是在这种背景下,云计算技术应用而生。其实质上是一种核心数据存储于互联网、计算方式也来自于互联网的新型计算机技术,从某种程度上讲,其是计算机信息技术发展到一定程度的产物。文章主要针对云计算技术的应用进行综述分析。

【关键词】云计算 应用 功能架构

1 云计算技术的内涵

其实到目前为止,业界还会对云计算形成一个准确的概念,多数专家认为云计算是分布式处理、并行处理及网络计算机发展的结果。云计算的基本原理,是指计算机日常应用中,其所进行计算过程不仅分布于本地计算机,还分布于远程服务器中。云计算与互联网的工作原理有某种异曲同工之处,云计算技术的数据处理就是将用户所需的资料切换至对应的程序,再根据其需求进行访问、存储,上述过程主要通过互联网来实现。由此可见,云计算从某种程度上讲是计算机的商业实现,其主要表现出以下几个特点:首先,规模大。必须具有相当的规模才能满足用户越来越高的信息需求。现阶段企业私有云通常至少拥有数百台以上的服务器,而谷歌、微软、雅虎、亚马逊等云计算企业服务器则多达几十万台,甚至上百万吧,规模非常之庞大。其次,虚拟化。云计算用户可任意时间、通过任意终端、在任意位置通过“云”来请求资源,无需有固定的、有形的实体,因此具有显著的虚拟化特点。再次,稳定性。云计算高稳定性是通过多副本容错技术保证的,因此与普通计算机相比,云计算技术的稳定性更为显著。最后,自动化。对于用户而言,云计算具有自我管理及自我维护功能,其所提供的各种工作项目及服务也是自动完成的。

2 云计算结构

云计算中包含了并行计算、分布式计算、网格计算等三种技术,其结构包括四大模块:

2.1 存储层

云计算以存储层为基础,其以NAS、iSCSI等IP存储设备或SAS、SCSI等DAS存储设备为基础,这些物理存储设备分布于网络的不同区域,由统一的管理系统进行管理,真正打破了物理机逻辑化存储空间条件的限制,实现对硬件状态监控及故障维护的实时性。

2.2 基础管理层

该模块是云计算技术的核心部发,其通过集群、分布式文件系统、网格计算等技术实现存储设备的协同工作,多个设备可对外提供同一种服务,大大提高了数据访问的性能。基础管理层的主要问题在于其安全性的保证。

2.3 应用接口层

该模块的主要作用是实现应用服务系统对基础层的不同开发环境及API。

2.4 访问层

该模块的主要作用是响应用户请求。用户通过标准的公用应用接口登录云系统,系统响应用户请求实现资源配置。

3 云计算技术的应用

随着云计算技术的不断发展,其应用范围也越来越广泛,目前其应用比较成熟的领域包括以下几个方面:

3.1 商业领域的应用

云计算在商业领域的应用主要体现出云存储及电子商务等方面,其中云存储包括两大部分,一是个人云存储,云计算通过其资源调度功能将不同的服务器构成存储空间池,用户可以根据自身的实际需要进行实时存储,可进行统一编辑文档。另一方面,企业级云存储主要是通过企业间的空间租赁实现的。云存储性能强、容量大,可为企业的数据存储提供安全、便捷的数据服务。比如企业远程数据备分,大大提高了云计算技术的实用性,改善系统的安全性,并且云计算在电子商务中的应用提高了电子商务的灵活性与专业性。

3.2 教育领域的应用

相比商业领域,云计算在教育领域的作用更加突出。应用云计算可以大大降低学校的资源建设成本,实现了随时、随地的教学活动;云计算还可保证学校相关数据的安全性,云计算可跨设备、跨平台运行,用户可通过任意终端获取云系统中的相关数据,再分享给他人,最大程度上实现教育信息资源共享。在图书馆中的应用主要包括图书管理、数字资源检索、下载等;用户还可以通过电脑、手机等访问图书馆的电子资料,真正实现移动学习。

3.3 推动社会信息化水平的提升

首先云计算可推动计算机软硬件及网络资源信息基础设施的建设,降低系统建设及管理成本,可有效解决事业单位、政府部门存在的历史垢病,促进社会信息化水平的不断提升。其次,云计算可将电子政务、公共服务等信息资源整合在一起,大大提高公共服务及政府公关服务的工作效率。再次,可大大提高企业的科技创新能力,并且可缩短服务与产品进入市场的周期,提高用户获得信息的动态性及敏捷性。最后,降低系统设备运行成本。云计算可延长系统硬件设备的使用寿命,降低电能消耗及运营成本,具有显著的节能效果。

4 展望

云计算技术使得互联网成为所有用户的计算中心与数据中心,增强了互联网的核心功能,通过云计算技术,大规模数据资源及计算能力等信息服务不再是少数人的专利,每个用户均可享受到。当然,尽管云计算具有一系列优势,但是其不可避免的存在诸多客观问题,最突出的就是云计算的数据安全及公共标准问题。云计算的公共标准与企业的技术互通、利益协调等均有直接关系,虽然其这一特性促进了云计算的良好发展,但是也是一个复杂问题。云计算技术的安全问题包括两个层面的含义,一是云计算系统本身的安全问题,主要内容包括数据安全、隐私保护、安全服务、安全监管等;另外一个层面是指基于云计算平台的安全工具,即安全云。但是无论云计算技术存在保种问题,都无法阻挡其为网络信息技术发展带来的机遇,因此可以预见,云计算技术的应用前景十分广阔。

参考文献

[1]王佳隽,吕智慧,吴杰.云计算技术发展分析及其应用探讨[J].计算机工程与设计,2015(20):4404-4409.

[2]何明,郑翔,赖海光.云计算技术发展及应用探讨[J].电信科学,2015(5):42-46.

[3]滕萍.云计算技术发展分析及其应用研究[J].信息网络安全,2015(11):89-91.

[4]周紫熙,叶建伟.云计算环境中的数据安全评估技术量化研究[J].智能计算机与应用,2016(1).

第2篇

关键词:云计算;关键技术; 应用

1引言

自1945年第一台电子计算机出现以来,随着集成电路技术的不断发展,计算机的功能越来越强,体积越来越小,这使得计算机在全球范围内得以迅速发展。从那时开始至今以计算机为核心的IT产业已经历了三次革命,云计算则被认为是继大型计算机、个人计算机、互联网之后的第4次IT产业革命。

2 云计算简介

(1)什么是云计算

云计算(Cloud Computing)是由分布式计算(Distributed Computing)、并行处理(Parallel Computing)、网格计算(Grid Computing)等技术渐进演变发展起来的,是一种新兴的商业计算模型。目前国际上尚未对云计算提出一个统一的定义。我国云计算专家刘鹏给出的描述是:“云计算是一种商业计算模型,它将计算任务分布在大量计算机构成的资源池上,使用户能够按需获取计算力、存储空间和信息服务[1]” 。

简单地讲,云计算是以一种简化的方式提供服务,用以满足客户和业务的需求,提供无限伸缩及不同质量的服务来促进快速创新和决策的计算模型[2]。

(2) 云计算的特点

云计算的特点包括超大规模、虑拟化、高可靠性、通用性、可扩展性以及按需服务。

超大规模:“云”里的资源非常庞大,在一个企业“云”可以有几十万甚至上百万台服务器,在一个小型的“私有云”中也可拥有几百台甚至上千台服务器。

虑拟化:云计算允许用户在任何时间和地点使用各种终端获取应用服务。用户不需要了解具体的过程,只要一个终端并通过网络就可以获取“云”中的服务。

高可靠性:为了保证数据安全可靠,云计算采用数据多副本容错、计算节点同构可互换等措施,以保证服务的安全和可靠。

通用性:云计算可根据用户的需求构造出不同的应用,也可实现不同设备间的数据与应用共享。

可扩展性:“云”的规模是可以根据应用和用户增长的需要而动态扩展的。

按需服务:“云”是一个规模庞大的资源库,用户可根据自己的需要像买水、电一样向“云”购买资源并使用。

(3 )云计算的服务模式

云计算的核心是它的服务模式,按照NIST (National Institute of Standards and Technology,美国国家标准技术研究院)的定义,云计算主要分为三种服务模式[3]:

SaaS (Software as a Service 软件即服务):它是指用户获取软件服务的一种形式。云计算提供商将多种应用软件放在一个服务器上供用户下载并收费,用户则通过网络向提供商获取自己需要的软件服务并付费。

PaaS (Platform as a Service 平台即服务):它将开发环境作为一种服务来提供。在这种模式里,客户不需要购买硬件和软件,只需要利用此平台便能进行软件的开发、测试、部署和应用。

IaaS (infrastructure as a Service,基础设施即服务) :将硬件设备等基础资源封装成服务供用户使用。在此环境中,用户相当于在使用裸机和磁盘并可以让它运行不同的操作系统。

(4 )云计算的关键技术

云计算的关键技术一般指数据存储、数据管理、数据安全、虚拟化、并行处理、资源管理和系统管理技术[4]。

数据存储:云计算系统是由大量服务器组成的,当为数量庞大的用户进行服务时会产生海量的数据,要保证这些数据存储的安全和可靠就需要高存储率和高传输率的数据存储技术。云计算采用的分布式存储方式,它把数据存储在服务器集群中,用冗余存储和数据加密技术来保证数据的安全可靠。

数据管理:它是指在云计算中对海量数据进行处理并通过对数据挖掘提取有用的信息。

数据安全:云服务商应避免用户的数据丢失或被窃,无论在哪种服务模式下,数据安全都是十分重要的。数据安全又可分为数据传输安全、数据隔离安全和数据残留等[5]。

虚拟化:虑拟化技术是云计算、云存储服务得以实现的基础和关键。通过虚拟化技术可以把软件应用与底层硬件相隔离。它包括将单个资源划分成多个虚拟资源的裂分模式,也包括将多个资源整合成一个虚拟资源的聚合模式。

并行处理:并行处理是指将被求解的问题分解成若干部分,每部分均由一个独立的处理机来并行计算。在云中利用并行处理来求解问题无疑能提高计算机系统的计算速度和处理能力。

资源管理:云计算中的资源包括计算、存储、网络、基础设施等资源。资源管理就是从逻辑上把这些资源耦合起来作为一个单个的集成资源提供给用户使用。由于云计算的资源在地理上是分布的,在本质上是异构的且有不同的访问代价模型,因此资源管理主要就是处理好边界问题,并需要有安全和容错机制。

系统管理:云计算中的系统管理是云计算的“神经网络”,通过这种技术能够使大量的服务器协同工作,方便地进行业务部署和开通,快速发现和恢复系统故障。

(5 )云计算存在的问题

首先云计算至今没有一个统一标准。由于云计算技术还在发展之中,各大云服务商纷纷推出自己内部的技术标准,这就为云服务商之间进行数据迁移、转换等兼容性问题带来一定的困难。

其次是数据的安全。虽然云存储为用户提供了接近无限的存储空间,但多数用户对自己的数据在云中是否安全仍存在质疑,而且数据在“云”中进行计算时用户也不知道数据到底在什么地方。另外黑客攻击、计算机病毒、木马等传统计算机安全问题依然存在,个人和企业隐私的泄露很有可能发生。所有这些问题不仅需要技术上的改进,也需要在法律上进一步完善。

最后是系统的稳定、可靠性问题。在云中支撑整个系统正常运行的是大型服务器集群。当系统规模持续增加后,系统的可靠性和稳定性就成为最大的问题之一。只有通过有效的系统配置、监控、管理、调度以及虚拟化等技术手段,才能实现一个强大的、动态的、自治的计算存储资源池,才能提供云计算所需要的大容量计算力[6]。

3云计算的应用

近几年来随着谷歌、亚马逊等大公司对云计算技术的不断推进,使得云计算技术在国内外的各个领域都得到了广泛的应用,下面介绍几个典型案例。

电子商务。它是指消费者与商户之间通过电子商务网站进行交易和在线支付的商业活动。云计算的加入可以改善系统的安全性,减少因各种安全问题而导致的数据丢失。可以把企业对网站维护和升级的问题交给“云”处理,这样不仅可以降低成本,还可以改善企业电子商务应用的灵活性和专业性。

气象预测。气象预测实际上就是对采集的大量数据进行科学计算。传统的气象预测要靠大型计算机或巨型计算机来完成,而利用云计算不仅可以提高计算的速度,降低成本,还可以解决海量气象数据存储的问题。

计算机安全。目前计算机安全厂商如瑞星、趋势科技和赛门铁克等都先后提出了“云安全”的概念。用户不必在电脑单机中安装杀毒软件,只需要连接互联网便可实现查毒、杀毒,使病毒防治工作更加安全可靠。

网络应用。在互联网中如迅雷的下载,谷歌的视频分享、搜索引擎、电子邮箱等应用都使用了云计算技术,用户可以更方便快捷的使用这些网络资源。

4 结束语

综上所述,随着云计算在社会中的作用越来越显现,云计算必将利用其技术、业务优势影响人们的工作和生活,进而推动整个社会信息化的发展。

参考文献

[1]刘鹏.云计算(第二版)[M].北京:电子工业出版社,2011.

[2]姚有真. 云计算及其发展趋势[J].通讯管理与技术.2011.8:13-15.[3]De S K, Krishna P R.Clustering web transactions using rough

Approximation [J].Fuzzv Sets and Systems,2004, 148:131-138.

[4]曾剑秋,刘雪娇.云计算探源[J]. 移动通讯,2012.3:11-14.

第3篇

[关键词]虚拟化;分布式计算;云管理平台;key/value存储引擎

abstract: virtualization and distributed parallel architecture are two typical technologies of cloud computing. for virtualization technology, this article discusses the pool of physical resources, resource pool management and use, cluster fault location and maintenance, resource pool grouping, and the building and application of heterogeneous virtualization platforms. it also discusses the distributed file system and key/value storage engine associated with distributed technology. a “master bottleneck” storage interface standard is proposed for the distributed file system, and directory-based storage is proposed for the key/value storage engine.

key words: virtualization; distributed computing; cloud computing management platform; key/value storage engine

云计算由google提出,随后在互联网界风起“云”涌,随之而来的云计算服务和技术平台成功案例层出不穷,如google的gfs、mapreduce、bigtable、chubby和app engine,亚马逊的dynamo、ec2、s3、sqs、simpledb和cloudfront,微软的azure、sql、“.net”和live服务,开源云计算平台的hdfs、hbase和eucalyptus,vmware的虚拟化平台等。

1 云计算的核心技术

云计算主要基于资源虚拟和分布式并行架构两大核心技术,同时互联网上有大量的开源软件为用户提供支撑,如xen、kvm、lighttpd、memcached、nginx、hadoop、eucalytus等。云计算技术有效地节约了云服务商的硬件投入、软件开发成本和维护成本。

虚拟化技术最早由vmware公司引入并在x86 cpu上实现。虚拟化平台将服务器虚拟为多个性能可配的虚拟机(vm),对整个集群系统中所有vm进行监控和管理,并根据实际资源使用情况对资源池灵活分配和调度。

分布式并行架构是云计算的另一个核心技术,用于将大量的机器整合为一台超级计算机,提供海量的数据存储和处理服务。整合后的超级计算机通过分布式文件系统、分布式数据库和mapreduce技术,提供海量文件存储、海量结构化数据存储和统一的海量数据处理编程方法和运行环境[1-3]。

2 虚拟化技术

虚拟化技术主要分为两个层面:物理资源池化和资源池管理。其中物理资源池化是把物理设备由大化小,将一个物理设备虚拟为多个性能可配的最小资源单位;资源池管理是对集群中虚拟化后的最小资源单位进行管理,根据资源的使用情况和用户对资源的申请情况,按照一定的策略对资源进行灵活分配和调度,实现按需分配资源[4-7]。

2.1 物理资源的池化

云计算平台如图1所示。物理硬件设备的虚拟化对象包括服务器、存储、网络、安全等多个方面,不同的虚拟化技术从不同角度解决系统的各种问题。

(1)服务器虚拟化

服务器虚拟化对服务器进行资源虚拟和池化,将一台服务器虚拟为多个同构的虚拟服务器,同时对集群中的虚拟服务器资源池进行管理。

(2)存储虚拟化

存储虚拟化主要是对传统的存储区域网络(san)、网络附加存储(nas)设备进行异构,将存储资源按类型统一集中为一个大容量的存储资源,并将统一的存储资源通过分卷、分目录的权限和资源管理方法进行池化,然后将虚拟存储资源分配给各个应用使用,或者是直接分配给最终用户使用。

(3)网络虚拟化

网络虚拟化将一个物理网络节点虚拟成多个虚拟的网络设备(交换机、负载均衡器等),并进行资源管理,配合虚拟机和虚拟存储空间为应用提供云服务。

2.2 资源池的管理和使用

资源池由云管理平台实现统一的管理、调度和监控,涉及云平台的合理使用和维护管理。云管理平台共分为4个管理层面,分别为:设备的管理、虚拟资源的管理、服务的管理和租户管理。

(1)设备管理

设备管理为云计算平台的硬件设备提供管理和告警功能,主要包括系统管理员在日常的维护工作中查询各物理设备性能情况,并对如应用服务器的cpu使用率、内存使用率、硬盘使用率、网络接口使用率、存储设备的空间使用率、io情况等关键指标进行监控。用户可以根据应用物理设备的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。

(2)虚拟资源管理

虚拟资源管理为各种应用提供虚拟资源的统一管理、资源分配和灵活调度,同时还包括系统管理员在日常的维护工作中查询各个最小虚拟资源的性能情况,并对应用虚拟机的cpu使用率、内存使用率、硬盘使用率、网络接口使用率,虚拟存储(如亚马逊的ebs)的空间使用率、io情况等关键指标进行监控。用户可以根据虚拟资源的实际配置,设置相应的监控阈值,系统会自动启动对相应指标的监控并报警。

(3)服务管理

服务管理包括服务模板、服务实例、服务目录等管理。服务管理在虚拟资源的基础上,快速向租户提供用户指定的操作系统、应用软件等软件资源。

(4)租户管理

租户管理对每一个租户对应的资源群进行管理,内容包括资源的种类、数量、分布情况等,同时对租户生命周期进行管理,包括租户的申请、审核、正常、暂停、注销等。

2.3 集群的故障定位与维护

google的集群维护方式给我们留下了深刻的印象,维护人员推着小推车对损坏的机器进行更换,故障定位通过定制pc的故障灯进行判断(在通用的因特网数据中心(idc)应用中,计算资源通常使用通用pc机)。目前所有的云平台对物理机和虚拟机的监控、告警,都是按照机器的ip地址作为机器的编号进行管理。对于承载着虚拟机的物理机而言,其host os模块的ip地址对应和代表着物理机器在集群中的唯一标志。ip地址的分配一般采用两种方式:采用动态主机配置协议(dhcp)方式自动获取;通过手工指定方式确定。由于集群中机器很多,手工指定工作量非常巨大,因此通常采用dhcp的方式对ip地址进行分配。

但是维护人员在云管理平台上发现物理设备出了故障,维护人员无法通过ip地址对应到故障机器的具体物理位置,通用的pc机又没有故障灯等辅助定位手段。定位故障机器的物理位置并更换或维护它成为一个复杂和繁琐的过程。

在的虚拟化集群中,可以采用简单而有效的方法解决此问题。对于每一台物理机器,配置一个usb接口的key,key中保存了物理机器的位置信息,同时usb key与物理位置直接绑定(如绑在机架上)。机器在启动时,会到usb key中读取物理位置信息,根据读取的物理位置信息,依据固定的算法和物理信息算出机器的ip地址,并在管理平台中体现。这样,每个物理机器的ip地址就与物理位置绑定,在物理机器故障时,维护人员在云管理平台可以准确获取故障机器的ip地址和物理位置。

2.4 资源池的分组与异构

对于服务器的虚拟化,由于架构不同,sun、ibm等厂家的小型机虚拟化都采用相互独立的架构,与基于x86架构的虚拟化系统(如xen、kvm等)无法兼容,因此造成了资源浪费。

对于服务器虚拟化的异构问题,可以从两个层面去解决:(1)通过资源池的分组,对不同架构的服务器和小型机进行虚拟化,不同架构的资源池归于一个独立的组,针对不同的应用,分配特定的虚拟机资源。(2)通过业务的定制和调度,将不同架构的虚拟化平台通过管理融合,实现异构虚拟机的调度。

异构资源池如图2所示。在云计算平台中,把ibm的powersystems小型机集群通过ibm的powervm系统虚拟为基于powersystems架构的计算资源池,把hp的小型机集群通过hp的vse系统虚拟为基于hp架构的计算资源池,把x86架构的计算资源通过xen\kvm系统虚拟为基于x86的zxve资源池。在业务部署时,不同的应用的可以根据自己的业务特点和操作系统特点,选择性地部署在不同的资源池上,从而实现虚拟化对各类小型机的异构。x86架构的计算资源池、powersystems架构的计算资源池和hp架构的计算资源池分别受各自的虚拟化管理软件(如vmm、ivm和gwlm)管理。在vmm、ivm和gwlm的上层,可以通过融合的虚拟化管理器(ivmm),对3个计算资源池进行统一管理。

图3所示为虚拟资源对应用实现异构的方法。此方法的核心在于4个方面:ivmm、业务调度器、业务系统针对不同的资源池架构提供应用功能相同的不同版本、ivmm和业务调度器之间的occi扩充接口。

在业务应用层面,针对业务系统,本文增加业务调度器模块。业务调度器根据业务的繁忙程度,向ivmm申请增加或减少虚拟机资源,并调整负载均衡策略。业务系统针对不同的资源池架构,需要准备与之对应的功能相同的不同版本。occi扩充接口的工作流程为:

业务系统的业务调度器通过occi接口向云计算平台申请资源,同时向云计算平台提供业务系统可以支持的操作系统等信息,并提供优先级信息。

云计算平台根据业务系统的请求和云内资源的空闲情况,分配计算资源,通过occi接口通知业务调度器云计算平台向业务系统提供了何种架构的计算资源。

业务调度器根据申请到的资源情况,将业务处理机的操作系统、业务版本等模板信息通过occi接口通知云计算平台,由云计算平台进行操作系统和业务程序的部署,完成后提交给业务系统进行使用。

3 分布式技术

分布式技术最早由google规模应用于向全球用户提供搜索服务,因此必须要解决海量数据存储和快速处理的问题。其分布式的架构,可以让多达百万台的廉价计算机协同工作。分布式文件系统完成海量数据的分布式存储,分布式计算编程模型mapreduce完成大型任务的分解和基于多台计算机的并行计算,分布式数据库完成海量结构化数据的存储。互联网运营商使用基于key/value的分布式存储引擎,用于数量巨大的小存储对象的快速存储和访问。

3.1 分布式文件系统

分布式文件系统的架构,不管是google的gfs还是hadoop的hdfs,都是针对特定的海量大文件存储应用设计的。系统中有一对主机,应用通过文件系统提供的专用应用编程接口(api)对系统访问。分布式文件系统的应用范围不广的原因主要为:主机对应用的响应速度不快,访问接口不开放。

主机是分布式文件系统的主节点。所有的元数据信息都保存在主机的内存中,主机内存的大小限制了整个系统所能支持的文件个数。一百万个文件的元数据需要近1g的内存,而在云存储的应用中,文件数量经常以亿为单位;另外文件的读写都需要访问主机,因此主机的响应速度直接影响整个存储系统的每秒的读入输出次数(iops)指标。解决此问题需要从3个方面入手:

(1)在客户端缓存访问过的元数据信息。应用对文件系统访问时,首先在客户端查找元数据,如果失败,再向主机发起访问,从而减少对主机的访问频次。

(2)元数据信息存放在主机的硬盘中,同时在主机的内存中进行缓存,以解决上亿大文件的元数据规模过大的问题。为提升硬盘可靠性和响应速度,还可使用固态硬盘(ssd)硬盘,性能可提升10倍以上。

(3)变分布式文件系统主机互为热备用的工作方式为1主多备方式(通常使用1主4备的方式),通过锁服务器选举出主用主机,供读存储系统进行改写的元数据访问服务,如果只是读访问,应用对元数据的访问将被分布式哈希表(dht)算法分配到备用主机上,从而解决主机的系统“瓶颈”问题

对于分布式文件系统,外部应用通过文件系统提供的专用api对其进行访问,这影响了分布式文件系统的应用范围。对于标准的posix接口,可以通过fuse的开发流程实现,但将损失10%~20%的性能。对于网络文件系统(nfs),在实现posix接口的基础上,可以直接调用linux操作系统的nfs协议栈实现。

3.2 key/value存储引擎

key/value存储引擎最大的问题在于路由变更后,数据如何快速地实现重新分布。key/value存储引擎如图4所示。可以引进虚拟节点的概念,将整个key值映射的ring空间划分成q个大小相同的bucket(虚拟节点,key的映射算法推荐采用md5)。每个物理节点根据硬件配置情况负责多个bucket区间的数据。同一个bucket上的数据落在不同的n 个节点上,通常情况下n =3。我们将dcache的q设定成10万,即把整个ring空间分成了10万份,如果整个dcache集群最大容量为50 tb,每个区间对应的数据大小仅为500 mb。对500 mb的数据进行节点间的迁移时间可以少于10 s。图4中,n =3,bucket a中的数据存储在b、c、d 3个节点。

4 结束语

云平台的构建是一个具有挑战性的课题,本文详细描述了虚拟化和分布式架构两大核心技术。在基础设施即服务(iaas)层面,着重描述了虚拟化技术,以及异构的虚拟化云计算平台的建设和应用,同时介绍了云管理平台的功能。在分布式技术方面,介绍了分布式文件系统和key/value存储引擎。对于分布式文件系统,本文着重介绍了主机“瓶颈”解决方案及存储接口标准化的想法;对于key/value存储引擎,本文提出了用于目录化存储的解决方案。

5 参考文献

[1] 张为民, 唐剑峰, 罗治国, 等. 云计算:深刻改变未来 [m]. 北京: 科学出版社, 2009.

[2] 刘鹏. 云计算 [m]. 北京: 电子工业出版社, 2010.

[3] 王庆波, 金, 何乐, 等. 虚拟化与云计算 [m]. 北京: 电子工业出版社, 2009.

[4] scott granneman s. google apps deciphered: compute in the cloud to streamline your desktop [m]. upper saddle river, nj, usa: prentice-hall, 2009.

[5] reese g. cloud application architectures: building applications and infrastructure in the cloud [m]. sebastopol, ca, usa: o'reilly media, 2009.

[6] arrasjid j, epping d, kaplan s. foundation for cloud computing with vmware vsphere 4 [m]. berkeley, ca, usa: usenix association, 2010

[7] service delivery platforms and telecom web services: an industry-wide perspective [r]. the moriana group, 2004.

收稿日期:2010-05-28

赵培,中兴通讯业务研究院总工程师,中兴通讯技术专家委员会专家;研发的zxj10程控交换机《单板大容量数字时分交换网络》系统获广东省火炬优秀项目奖、深圳市科技进步奖一等奖,拥有发明专利8项。

第4篇

关键词:云计算、虚拟化技术、分布式计算

中图分类号:TP393文献标识码:A文章编号:1009-3044(2012)18-4360-03

云计算是近年来出现的一个热门概念,也是未来互联网发展的方向。从狭义上看,云计算是一种动态的、易扩展的且通常是通过互联网提供虚拟化资源的计算方式。从广义上看,云计算是一种以互联网为中心的面向应用的服务,用户不需要了解云内部的细节.也不必具有云内部的专业知识或直接控制基础设施,便能使用的相关资源。云计算包括基础设施即服务(Infrastructure as a Service,简称IaaS),平台即服务(Platform as a Service,简称PaaS)和软件即服务(Software as a Service,简称SaaS)以及其他依赖于互联网满足客户计算需求的服务类型。云计算服务通常提供通用的通过浏览器访问的在线商业应用,软件和数据则存储在服务器上。

图1云计算的组成

2.1基础设施

云基础设施,即IaaS。是计算机基础设施,通常是虚拟化的平台环境。作为一项服务,具体应用例如:Sun公司的Sun网格、亚马逊的弹性计算云。它通过将服务器端强大的计算能力单位化,来为个人用户提供PC机无法实现的海量数据计算服务。

2.2存储

云存储涉及提供数据存储作为一项服务,包括类似数据库的服务,通常以使用的存储量为结算基础。它既可以交付作为云计算服务,又可以交付给单独的数据存储服务,具体应用包括亚马逊简单存储服务和Google的BigTable服务。通过云存储,由云端为用户提供数据的备份和安全性保障,用户可以在任何地点任何时刻进行数据的存储和读取操作。

2.3平台

云平台,即PaaS,直接提供计算平台和解决方案作为服务.以方便应用程序部署和开发,从而节省购买和管理底层硬件和软件的成本。比如Google的应用程序引擎(Google AppEngine)可以让开发人员编译基于Python的应用程序,并免费使用谷歌的基础设施来进行托管。这种在云端的开发平台为编程人员提供了快速开发网络应用程序的途径,同时免去了繁琐的服务器搭建、维护等工作。

图3GFS架构

3.3分布式计算

由于云计算系统中的计算单元分布在不同的地理区域,为了有效的利用这巨大的运算能力,传统的编程方式已不适用,而要采用分布式计算模型。当前Map/Reduce模型在云计算系统中的使用最为广泛。

Map/Reduce是一种编程模型,用于大规模数据集(大于1TB)的并行运算。概念“Map(映射)”和“Reduce(化简)”,以及它们的主要思想,都源自函数式编程语言和矢量编程语言。Map/Reduce为编程人员进行分布式并行编程提供了一个框架,使得自己的程序可以方便的运行在分布式系统上。

Map/Reduce编程的实现是指定一个Map(映射)函数,用来把一组键值对映射成一组新的键值对,指定并发的Reduce(化简)函数,用来保证所有映射的键值对中的每一个共享相同的键组。

简单说来,一个映射函数就是对一些独立元素组成的概念上的列表(例如,一个测试成绩的列表的每一个元素)进行指定的操作(例如,如果发现所有学生的成绩都被高估了一分,就可以定义一个“减一”的映射函数,用来修正这个错误)。事实上,每个元素都是被独立操作的,而原始列表没有被更改,因为这里创建了一个新的列表来保存新的答案。这就是说,Map操作是可以高度并行的,这对高性能要求的应用以及并行计算领域的需求非常有用。

而化简操作指的是对一个列表的元素进行适当的合并。例如,如果需要知道班级的平均分,就可以先定义一个化简函数,通过让列表中的元素跟自己的相邻的元素相加的方式把列表减半,如此递归运算直到列表只剩下一个元素,然后用这个元素除以人数,就得到了平均分。虽然化简不如映射函数那么并行,但是因为化简总是有一个简单的答案,大规模的运算相对独立,所以化简函数在高度并行环境下也很有用。

第5篇

关键词:云计算;网络;计算机;架构

中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2012)19-4590-02

对目前广泛使用的几种云技术的对比,对云计算的技术结构做了简要的总结。最后对云计算在实际发展中遇到的问题以及未来的发展趋势做了预测分析。

目前计算机技术以及网络技术的原理以及实际应用都得到了快速的发展,单个计算机的性能的提升方面仍然存在很多需要研究以及解决的现实问题。用户在使用大量的网络资源的时候,实际上是已经采用了网络的优势取代了以前个人手中资源来实现计算机性能的提升。计算机网络技术将在世界范围内实现资源的共享转换为了现实。由于网格计算的概念主要是面向应用层面的,所以在网格计算的概念被提出以来,计算机性能的提升就面临这很多亟待解决的问题,网络的用户需要将其使用的程序转换为网络共享所需要的分布式程序结构,程序员面临这更多的技术问题,技术方面的障碍导致一般的用户在应用网络资源方面存在一定的困难。

目前市场上对于高性能的计算具有强烈的需求,面向WEB技术的网络服务也具有重要的地位。自从面向WEB的技术获得成功以后,计算机网络的应用领域得到了较大程度的拓展,网络的发展使得其功能已经由简单的信息传输或者信息的转换为信息资源的共享等应用。计算机云计算就是在这样的背景中应运而生了。尽管云计算技术发展时间不长,但是云计算的思路已经涉及到了诸如分布式系统技术、集群技术、网格计算等多种技术。从这个方面来分析,云计算可以认为是上述技术的综合以及升级。随着云计算技术的不断发展以及相关理论的不断完善,以如微软的Azure ,Amazon的EC2等云计算平台为代表云计算的商业应用已经成为了现实。

1 云计算的定义

美国的Larry Ellison在华尔街日报上发表了自己对于云计算的见解,他认为计算机云技术中存在这样的现象,也就是说一般需要根据目前已经完成使用的产品来重新定义云计算。Andy Isherwood也在2008年提出,对于云计算的专业研究,几乎所有的研究者所给出的定义都存在着差别。目前对于云计算的定义的业界仍然存在较大的争议,能够实现云计算的平台也是多种多样。目前对于云计算的定义主要是根据Ian Foster等人的研究以及对于云计算的分析与总结。

1)云计算中的每一朵云都是目前计算机并行分布式系统中一种,是由一些了网络化以及虚拟化的计算机提供的同意的服务层。同事会可以对计算资源进行同步。

2)网络中用户不是基于较长的时间间隔来进行基础设施的规划使用,目前可以实现分钟级甚至是秒级来实现基础设施的规划,这样应用的好处就是避免了网络资源的浪费或者是网络资源的过载。

3) 云计算不是孤立的,云计算是一个涉及多个方面的综合概念。一般认为云计算是软件技术发展的下一个逻辑阶段。对于用户而言,最能够被理解以及接受的所谓云计算其实就是在因特网层面上的集成软件。本定义中强调了云计算网络服务的基本属性。其他一些定义则注重了网络中基础设施的虚拟化,从本质上而言这些都是对于云计算概念不同层面的阐述。

根据以上的研究分析,云计算可以定义为:云算是通过网络进行常用的服务形式,其中所有涉及到的软件系统以及硬件系统的总称。与云计算相关的概念主要包括集成技术、网络计算、超级计算机等相互之间存在着相互区分但是又存在着相互联系的基本概念。云计算中主要是以其服务形式对网络中的用户提供必要的计算机网络资源,因为这个平台可以获得比传统的集群系统具有更为广泛的优势以及规模,所以基于云计算的计算机平平所能够提供的计算机性能就很有课程超过目前使用的超级计算机。另外在灵活性以及规模等方面,云计算技术的优越性更为明显。

2 云计算发展背景

云计算的出现以及迅速发展与网络的应用紧密相连。随着Web2.0相关理论的成熟以及相关技术的现实应用,云计算已经由商量的实验性网站逐步发展到目前广泛使用的校园内网以及多种应用方面。网络的商业模式已经发生了较大的变化。以一般运行的商业化网站为例,对一个可以获得较大商业利润的大型网站继续宁维护,所涉及的方面很多。主要包含了对系统硬件的维护以及对于市场调研的分析。这样就需要一个涉及等多方面的工作团队,同时对于网站所涉及的软件系统、硬件系统要负全面的责任。网站最终的获利只是这个超大规模团队的顶端的一小部分。这种极为不平衡的特点阻碍了网站的进一步发展。目前传统的计算模型主要存在一下的困难。

1)目前服务支持平台的规模缺乏可伸缩性,无法满足用户需求的变化。当服务业务的需求规模发生变化的时候,传统的计算模型无法作出适应性的及时调整。

2)目前建立大型的底层基础设施的成本较大。一般企业或者商业组织要在短期筹备相应的运行资本也存在着一定的难度。但是商业机遇总是争分夺秒的,快速岂不的能力对于网络运营商极为重要。

3)服务商对于提供的定型服务需要进行长期的维护,因此就没有办法集中有限的资源进行新业务的开发。云计算平台具有较高的灵活性以及可靠性,网络用户可以根据目前现有的服务快速建立起许啊哦的系统。同时可以将基础设施的维护任务由计算机提供商操作。因此用户可以集中各项资源进行业务方面的操作。云计算的还具有可伸缩性,这样就可以根据业务量大小的变化进行实时的调整并降低服务成本。

第6篇

关键词:云计算关键技术 云技术运用 云计算

中图分类号:TP3 文献标识码:A 文章编号:1672-3791(2011)09(a)-0026-01

1 云计算概述

1.1 云计算的定义

1.1.1 什么是云计算

云计算的概念源于网格、公用计算和 SaaS概念。这是一种新兴的模型,利用该模型,用户可以在任何地方通过连接的设备访问其应用程序。应用程序位于可大规模伸缩的数据中心,计算资源可在其中动态部署并进行共享,以便能够实现显著的经济规模。

狭义的云计算是指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的资源(硬件、平台、软件)。 广义的云计算是指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需的服务。

1.1.2 云计算的特征

(1)硬件和软件都是资源,通过互联网以服务的方式提供给用户;(2)应用资源可以根据需要进行动态的扩展和配置;(3)资源在物理上以分布式的共享方式存在,但最终在逻辑上以单一整体的形式呈现;(4)资源按需分配,按实际使用量付费,自动化管理。

1.2 云计算的优势

(1)优化产业格局,推进专业分工;(2)降低管理开销,提升资源利用率;(3)减少初期投资,减轻基础设施风险;(4)降低入市资本,加快技术创新。

2 云计算的关键技术

2.1 云计算的技术支撑

2.1.1 资源调度

资源调度指的是在特定的环境下,根据一定的资源使用规则,在不同的资源使用者之间进行资源调整的过程。目前,通常有两种途径可以实现计算任务的资源调度:一种是在计算任务所在的机器上它的资源使用量;另一种是将计算任务转移到其他机器上。

2.1.2 多租户技术

与传统的软件运行和维护模式相比,用户的应用软件不需要一次性购买和部署在个人的数据中心中,这些计算机硬件资源和软件资源能够更好的被共享,具有良好的伸缩性,任何一个企业用户都能够按照自己的需求对SaaS软件进行客户化配置而不影响其他用户的使用。多租户技术就是目前云计算环境中能够满足上述需求的关键技术。

2.1.3 海量数据处理

作为以互联网为计算平台的云计算,将会更广泛的涉及到海量数据处理任务。海量数据处理指的是对大规模数据的计算和分析,通常数据的规模可以达到TB甚至PB级。

2.1.4 大规模消息通信

云计算的一个核心理念就是资源和软件功能都是以服务的形式进行的,不同服务之间经常需要通过消息通信进行协助。可靠、安全、高效能的通信基础设施对于云计算的成功至关重要。

2.1.5 大规模分布式存储

分布式存储的目标是利用多台服务器的存储资源来满足单台服务器所不能满足的存储需求。分布式存储要求存储资源能够被抽象表示和统一管理,并且能够保证数据读写操作的安全性,可靠性,性能等各方面要求。目前,云环境下的大规模分布式存储领域已经有了一些研究成果和应用。

2.1.6 许可证管理与计费

随着云时代的到来,IT基础设施的许可证管理和计费模式将发生重大的变化。在云计算环境中,用户每月可以估计使用量选取许可证的数量,甚至可以根据系统自动跟踪用户在云环境里的使用情况定期生成的账单付费。

2.2 云计算的技术挑战

2.2.1 数据安全与隐私保护

在云环境中,云暴露在公开的网络中任何一个节点及它们的网络都可能受到攻击,而且服务器的更新和升级都在远程进行,每一次升级都可能带来潜在的威胁。

2.2.2 资源高效性和服务可用性

云环境下,通过技术创新,保证即使在计算机软硬件出现问题,服务仍然可用,云计算服务商希望预测到可能的可用性问题,并通过提前准备副本、提前解决故障、通知用户等手段来避免这些故障的发生,或者减少故障发生带来的损失。

2.2.3 资源的动态分配

在云计算环境中对资源的管理提出了更高的要求,要求资源的调度必须动态、及时、适量、细粒度、自动化和预动性。

2.2.4 统一的编程规范和标准化

为了使用户能更轻松地享受云计算带来的服务,让用户能利用该编程模型编写简单的程序来实现特定的目的,云计算上的编程模型必须十分简单。

3 云计算的应用前景

云计算正在成为IT的一种发展趋势,进入数字化、信息化的社会,为人们的生活和工作提供了无限多的可能,构建在网络之上的云计算给人们带来了诸多方便。无论是普通网络用户,还是企业员工,无论是IT管理者,还是软件开发人员,他们都能亲身体验到这种改变,成为云计算的真正受益者。

3.1 云计算面向大公司

对于大型企业而言,其具有相当完善的IT基础设施和相关的专业IT管理人员,对已有的IT基础设施进行高效的利用。将云计算的强大功能引入数据中心,变传统的IT基础架构成私有云(根据需要与外部云建立联邦的内部云集合),从而使IT基础架构作为可轻松访问的服务来交付将是最理想的解决方案。此方案优点在于:降低成本并最大限度提高IT效益,通过服务级别自动化加强IT控制力,为IT部门提供更多选择性。

3.2 云计算面向中小企业

对于中小企业来说,充分利用现有IT资源来部署新应用程序、提高可用性和确保业务持续性,以发挥虚拟化的强大功能。通过使用业界最受信赖、最可靠的虚拟化平台,大幅度降低资金和运营成本。同时,为企业提高IT人员效益,提供“IT永不停机”,保证其服务具备高可用性、高性能和高可靠性,混合云模式是中小型企业最理想的云计算方案。具有优势在于:减少资金投入和运营成本,提高IT人员生产效率和企业响应能力,保护应用程序和数据,提高业务可用性。

3.3 云计算面向家庭

现阶段,云计算和智能家庭在其各自的领域内发展都非常快速,为了能够在智能家庭中利用云计算提供的服务,那么需要将起桥接作用的家庭网关进行有效的改进,使之能够完成将智能家庭中提供的服务到云上,还能从云中搜索在智能家庭的网关层上看,每一个智能家庭被看作是一个结点,而智能家庭云是由很多个智能家庭结点构成的集群,智能家庭云就像其他由计算机组成的云一样是整个云架构的一部分,并且智能家庭云也可以向外界提供不同的服务。

参考文献

第7篇

关键词:云计算技术;企业;应用

云计算技术就是以互联网为基础,以此为用户提供一个安全可靠、低成本、高计算性网络服务的综合性平台。这种服务能够实现对信息、技术、知识等数据的存储,让人们随时随地可以进行查阅。随着技术的发展,云计算已经在企业中得到了推广。

1云计算技术的基本内涵

云计算技术顾名思义,这是一个带有虚拟色彩的互联网计算机技术,它根据资源提供者和消费者双方的意愿协调,机动地提供现有的资源,而这一资源的提供,则是它对企业的最大利用价值,所以它是一个庞大、具有服务性质的计算模式和储存库。云计算技术的含义提出是相比较于现有的计算机技术,例如目前为止,云计算技术的实际计算能力、整体模式的体现以及面临问题的灵活处理能力,相对于其他计算机技术而言都是非常有优势的。

2云计算技术发展特点和趋势

由于云计算技术工作过程的整体性特点,它全部是由一个十分完整的管理体系来支配自身资源的最大利用化,据不完全统计,目前各类信息公司的云计算技术服务方面用到的计算机数量达到四位数的水平。网络资源的需求和服务对象的特点,云计算技术天生具有她虚拟的特性,需求者只要通过自己的客户端就可以在短时间内得到自己想要的资源。随着云计算技术的逐步推广,使用的企业用户越来越多,不同的用户需求是显然不同的,这就需要云计算技术时刻调整自身的管理能力、技术成本,十分重视用户的反馈和体验,并以此为基点改善自身信息资源的集体供应能力,不断动态地改善自身管理体制和能力。在云计算技术的计算过程中,它会不断地审核和确认自身信息资源的有效性,并以此来维持和服务客户之间最大的信任关系。在其他方面尤为突出的是,相对于私人的计算能力和计算信度,它都有有很大的提升。

3云计算技术在企业中的应用

3.1利用云计算技术完善运行机制

为了将云计算技术充分的应用于企业之中,首先企业要完善自身的运行机制。究其根本原因,是因为云计算技术具有众多的环节和资源,企业只有完善自身的运行机制才能够有效地保证将云计算技术在内部得到更好的应用,使其能够和谐共存,进而保障云计算技术的应用,实现良性循环,使云计算技术均衡发展。云计算技术主要包括维护、运行和构建机制,具体体现在实施系统的规划、控制、调度和进化重组等方面。企业对云计算技术的调度应用主要集中在市场传统转型分析、新客户群体发展趋势的预测和调研几个方面,企业可以根据自身的情况决定云计算技术的具体应用战略。此外,企业还可以利用云计算技术的规划服务,分析当前的整体市场,对云计算提供的构架和容量扩展进行科学合理的规划。通过对云计算技术日志的不定期检查,得出准确的数据结果,采取合理的干预措施。

3.2企业中云储存系统的构建

云计算技术作为一个宏大的技术系统,能够为用户提供庞大的软件、数据和基础设施服务功能;云计算技术是由众多的资源和技术服务组成的。在当今的企业中最为核心的内容就是数据,这是企业发展的无形资产,云储存作为数据的载体,在云计算技术基础设施服务中占有重要地位。所以各个企业纷纷建立属于自身的云储存系统,这也是企业应用云计算技术的重要体现方式。在众多的大企业中,如惠普、易安信等都开始应用云储存技术服务。云储存技术的应用可以实现软件和计算服务的虚拟结合,从而为用户提供远程服务。其中,文件数据与软件资源储存是云储存的核心资源,是不可或缺的重要内容。企业的云储存系统主要作用就是存储客户资料和企业生产中的数据。企业建立云储存系统主要包含存储商、集成商和客户等。软硬件开发商为企业云储存提供储存的实体。其中云储存的商为企业提供储存资源的配置和安装功能,以此为用户提供有效资源。而云储存集成商就是将企业储存的资源进行有效的集合,为企业的云储存资源提供增值的服务。企业为了保障云储存系统的安全可靠性,对于提供云储存服务的制造商要进行第三方认证,所谓的第三方认证就是要求云储运系统的提供者提供能力、信誉和资质的认证。在云储存系统中最为核心的部分就是云储存的服务调度、系统更新、系统缓存和企业元数据管理方案等。元数据管理就是以集中的方式将元数据进行上传更新和下载等,通过高低访问频率采取不同的缓存分配方案。云储存系统的更新主要表现在客户端之间的传播更新、缓存更新、元数据更新、更新认可和执行等方面,涉及的内容非常多样。总之,在全球信息计算机技术快速发展的大背景下,云计算技术的发展和应用是不可避免的趋势,这对于企业、家庭和个人来说都是具有革命性意义的时代性变革。云计算技术对大众带来的福利和成就在上文中已经有所阐述,但是人们却不可忽视目前它存在的技术难关和技术薄弱点,这仍需要相关专业人士的继续努力对此改善。放眼全球高端云计算技术的发展状况,不可否认的是中国的云计算技术服务还有很大的学习发展空间,相信在不久的未来,中国将取得长足的发展。

参考文献

[1]华驰,顾晓燕,张蓉,等.互联网+背景下云计算技术与应用专业实训基地设计及构建[J].实验技术与管理,2016(9):88.

[2]谭鑫.大数据云计算技术及其应用展望[J].中国管理信息化,2016(19):132.

[3]秦振伟,周雪松,高志强,等.云计算技术在用户侧智能变电站系统中的应用研究[J].天津科技,2016(9):90.

[4]潘巍.云计算技术在图书馆应用中的分析[J].电子世界,2016(18):71.

[5]余黎.基于云计算技术的图书馆智能采编系统研究[J].西安文理学院学报(自然科学版),2016(5):130.