时间：2023-08-03 16:10:11
序论：在您撰写云计算的基础架构时，参考他人的优秀作品可以开阔视野，小编为您整理的7篇范文，希望这些建议能够激发您的创作热情，引导您走向新的创作高度。
中图分类号：TP393.08 文献标识码：A 文章编号：1007-9416（2013）06-0241-02
云计算技术被认为是继个人电脑 、互联网之后的“第三次互联网革命”，诞生伊始就得到广泛关注和重视。下面我们从云计算的概念、类型和基础架构三个方面来进行探讨。
1 云计算的概念
云计算是利用本地或远程服务器（集群）的分布式计算机为互联网用户提供服务（包括计算、存储、软硬件等服务），它是对分布式处理、并行处理和网格计算及分布式数据库的改进处理、融合和发展。
通俗的讲，云计算是一种全新的网络服务方式，将传统的以桌面为核心的任务处理转变为以网络为核心的任务处理，利用互联网实现自己想要完成的一切任务处理，使网络成为传递服务、计算力和信息的综合媒介，真正实现按需计算，多人协作。通过云计算的大规模应用，未来计算资源或许像电和水那样可随时获取，并按使用量进行计费。
2 云计算的类型
从部署方式来说，云计算可以分为私有云、公有云和混合云。公有云是互联网上所有用户都可以使用。私有云则是一种专有的云环境，是针对一个组织单独构建的互联网服务，该组织拥有基础设施，可以在此基础设施上部署应用程序，并对数据、安全性和服务质量提供有效控制。混合云，也可称为虚拟私有云，它提供的服务运行在一个公共的云基础设施之上，但通过虚拟专用网（VPN）限制对它的访问。
IaaS，指的是将硬件设备等基础资源封装成服务供用户使用，在此环境中，硬件及网络资源可以被划分成一个个的逻辑计算单元，IaaS管理工具可以保证多个逻辑单元协同工作起来。
PaaS，是对资源的抽象层次更进一层，它提供用户应用程序的运行环境。
SaaS，是将某些特定应用软件功能封装成服务。
3 云计算的基础架构
云计算充分利用网络和计算机技术实现资源的共享和服务，解决云进化、云控制、云推理和软计算等复杂问题，其基础构架可以用云计算体系结构、服务层次则和技术层次来描述。
3.1 云计算体系结构
云计算平台是一个强大的“云”网络，连接了大量并发的网络计算和服务，可利用虚拟化技术扩展每一个服务器的能力，将各自的资源通过云计算平台结合起来，提供超级计算和储存能力。云计算体系结构如图：（见图1）
云用户端：提供云用户请求服务的交互界面，也是用户使用云的入口，用户通过WEB浏览器可以注册、登录及定制服务、配置和管理用户。
服务目录：云用户在取得相应权限（付费或其他限制）后可以选择或定制的服务列表，也可以对已有服务进行退订的操作，在云用户端界面生成相应的图标或列表的形式展示相关的服务。
管理系统和部署工具：提供管理和服务，能管理云用户，能对用户授权、认证、登录进行管理，并可以管理可用计算机资源和服务，接收用户发送的请求，根据用户请求并转发到相应的应用程序，调度资源智能地部署资源和应用，动态的部署、配置和回收资源。
资源监控：监控和计量云系统资源的使用情况，以便做出迅速反应，完成节点同步配置、负载均衡配置和资源监控，确保资源能顺利分配给合适用户。
服务器集群：虚拟的或物理的服务器，由管理系统管理，负责高并量的用户请求处理、大计算量处理、用户WEB应用服务，云数据存储时采用相应数据切割算法，采用并行方式上传和下载大容量数据。
用户可通过云用户端从列表中选择所需的服务，其请求通过管理系统调度相应的资源，并通过部署工具分发请求、配置WE应用。
3.2 云计算服务层次
云计算的服务层次是根据服务类型即服务集合来划分，体系结构中的层次是可以分割的，即某一层次可以单独完成一项用户的请求而不需要其他层次为其提供必要的服务和支持。
3.3 云计算技术层次
服务接口：统一规定了在云计算时代使用计算机的各种规范、云计算服务的各种标准等，用户端与云端交互操作入口，可以完成用户或服务注册，对服务的定制和使用。
服务管理中间件：在云计算技术中，中间件位于服务和服务器集群之间，提供管理和服务即云计算体系结构中的管理系统。对标识、认证、授权、目录、安全性等服务进行标准化和操作，为应用提供统一的标准化程序接口和协议，隐藏底层硬件、操作系统和网络的异构性，统一管理网络资源。
虚拟化资源：指一些可以实现一定操作，具有一定功能，但其本身是虚拟而不是真实的资源，如计算池、存储池和网络池、数据库资源等，通过软件技术来实现相关的虚拟化功能，包括虚拟环境、虚拟系统、虚拟平台。
物理资源：主要指能支持计算机正常运行的一些硬件设备及技术，可以通过现有网络技术和并行技术、分布式技术将分散的计算机组成一个能提供超强功能的集群用于计算和存储等云计算操作。
4 结语
云计算作为下一代IT的发展趋势，在我国得到了充分的推动和蓬勃的发展，但我们必须看到，由于国内在云计算领域对核心技术的掌握不足，目前国内所建设的云计算中心，更多的投入是在硬件建设的部分，缺乏在基础软件设施层面对云计算模式的支持。同时信息系统和网络设备使用的关键芯片、核心软件和部件绝大部分依赖进口，存在着安全隐患。总之，虽然云计算的发展还存在着诸多的问题，但作为一种新型的互联网服务和计算模型。它展示了越来越强大的生命力，涉及了各行各业方方面面的人们，并将最终彻底影响和改变改我们的生活。
参考文献
关键词：政府 云计算 虚拟化 架构
自2007年云计算概念提出以来，云计算产业链在中国发展至今已初具规模，特别是企业私有云市场，虽然还没有出现一个在云计算市场拥有绝对优势的拳头产品，但百家争鸣，百花齐放的局面正预示着云计算的建设正胁潮涌之势而来。在继一些大型IT企业之后，越来越多的政府开始走向云，并且有更多的应用在向云靠拢。截止到2012年，已经有北京、上海、成都、杭州、青岛和西安等城市在政府应用云平台方面进行了积极的探索，总结出了一些成功的经验。在大家热烈讨论云计算技术能带来什么丰硕成果的同时，就政府云计算基础架构的建设方式在业界也未形成一个相对一致的说法。但众所周知，一个高效稳定的基础架构平台对于其上的应用和业务运营是至关重要的，而搭建这样一个基础架构的成本也是必须考虑在内的。
首先我们先来谈谈使用最普遍的x86架构，廉价、开放、标准化、简单易用，x86所具备的这些优点使其成为了众多云计算用户的最佳构架选择。目前，决大多数的大规模云的构建也都是基于x86架构的，例如亚马逊、微软、Google、百度、阿里巴巴等。但是，使用最多就是最好的吗？也不尽然，x86在人才资源、总体成本上是有优势，但一旦大规模部署后，由于单台服务器的性能问题，只能依靠大规模来实现计算能力和存储扩展，这样相应的就会带来一些管理和稳定性方面的问题。由于x86架构服务器系统的稳定性不如小型机系统，因此还需要有完善的备份和容错方案。这些都是x86在云计算架构中不可避免的问题，而这些问题的解决方式只能依靠第三方来进行。作为x86架构的忠实拥趸，VMware或许是能解决这些问题的最好方式。毕竟在x86平台虚拟化市场上，VMware的占有率超过了85%，而作为VMware虚拟化和云计算的核心系统平台，vSphere已经成为虚拟化平台的一个事实上的标准。2012年7月13日，VMware正式云基础架构套件，这标志着VMware从虚拟化向云计算的全面转型，其中的VMware vShield安全解决方案对云计算环境提供了全面的保护方案，但能否实现预期的效果，还有待市场的检验。总之，x86平台对于缺少更多技术支持的部门而言是不错的选择，首先平台搭建相对快捷简单、易于维护，其次又可以保持构架的灵活性和可扩展性。
相对分布式的x86架构而言，以IBM的Power架构为首的集中式构架方式在关键性核心业务上有着更大的可靠性及稳定性优势。很多人认为，政府部门没有那么多像很多大型企业那样的对计算性能和技术支持要求较高的业务，Power架构的优势有时候得不到体现。其实不然，随着政务信息化的推进，这几年很多大规模的政府部门应用系统陆续上线，这些业务应用系统涉及的人员范围、地域范围都很大，影响面也很广，而且业务也相对单一，对于这类重点业务，Power架构将是不错的选择，它能更好的满足业务的RAS（可靠性、可用性、稳定性）要求。Power架构所提供的虚拟化环境所使用的是IBM自己的PowerVM虚拟化软件，这在系统稳定性方面就有先天的优势，其先进的自动化管理功能，可以使资源池达到良好的利用，最终形成自适应、自服务的云计算基础架构。除了这些关键性业务，对数据库领域而言Power架构也具有更大的I/O吞吐量和稳定优势，尤其是基于关系型数据库的关键应用。如果我们在x86架构的横向扩展出现瓶颈时，再考虑向Power上进行迁移，迁移所付出代价恐怕不止是新建一套Power虚拟机那么简单了。当然，Power架构对云计算人才的要求是很高的，但是相对于那种大规模的x86云平台，维护它所需要的人力资源却少很多。就好比用一个在AIx系统及虚拟化方面技术很强的人维护1台Power计算机和用10个技术一般的人维护10台x86服务器一样，到底那种方式更节约成本，更能很好的实现管理就只能靠自己判断了。
我们都知道，云计算的最终目的是整合IT资源及应用，使其发挥更大的效能。在政府部门也一样，庞大的IT资源不仅耗资耗能巨大，对其很好的管理也是一个麻烦的问题。就笔者所在的单位而言，光服务器设备就有80多台，加上为之服务的网络及存储设备就足足填满了一个200平方的机房。 在进行虚拟化改造建设之前，我们就单位信息化应用的现状分析，发现服务器架构存着机器部分老化，故障率偏高；系统可用性、兼容性差；系统结构复杂；运行成本高；电力资源紧张；维护工作量大等等问题。
为了解决以上问题，我们决定使用虚拟化技术打造单位的云平台。考虑到单位这种已经存在大量业务应用的情况，我们在建设云计算平台过程中采取了循序渐进，避开关键业务，在不断探索过程中逐步推进的方式。根据如今政府的情况，一般都是自购服务器、各自有自己的信息中心负责运维。很多部门为了保证业务的正常运行，都花费很大的资金在容灾备份之上，这当中存在着诸多的浪费，很多高端的服务器及存储设备其实只用到了很少一部分的硬件系统资源，为了提高服务器的利用率，利用这部分高端硬件搭建云计算环境是对资源充分利用的一个好办法。比如我们先可以利用原有的IT资源，搭建相对简单的x86的云架构，在这个过程中会遇到一些无法绕过的问题，比如数据迁移、数据的隔离和控制等等，通过一些具体实践，我们可以同时积累部分云计算的人才和经验，为今后全面推行云计算打下基础。在关键性业务上， 我们可以直接部署IBM Power架构，其实Power并不像很多人想象的那么高深，IBM为了帮助用户快速构架基于Power的云平台，推出了从应用出发的解决方案以提升用户在应用部署、日常维护方面的易操作性。不过，不能否认的是，相比x86，Power平台在后期维护、管理上还是要更难一些，需要更加专业的管理人员。我们的数据库系统就是利用两台IBM小机进行Power架构的部署，实施期间，AIX系统及Power虚拟化软件确实让人头疼不已，但一旦部署成功，其I/O大吞吐量，高稳定性的特点也确实为用户带来了全新的体验。
对于云计算基础架构，套用一句老话：没有最好，只有最合适。这点在政府机构也同样适用。不管是x86还是Power架构，其实通用才是云平台最核心的要求，只有满足了能够将软件部署在不同的硬件和系统上的要求，这才是真正意义上的云计算平台。
参考文献：
（中国民用航空华东地区空中交通管理局 上海 200335）
摘 要 鉴于传统构架的协同决策（CDM）系统不能适应民航事业快速发展，提出建立基于云计算平台的CDM系统。
首先概述了云计算的基本概念和主要特征，并总结了云计算的关键技术和基本架构。之后，研究了对云计算拓扑设计算法，在树形拓扑结构的基础上对三种算法进行了比较和选择，确定方案为merge-MST。最后，完成云计算平台的初步总体设计，并搭建仿真测试平台，测试结果证明所设计的云计算CDM系统具有较好的性能。
关键词 民航，协同决策系统，云计算
中图分类号：TP392 文献标识码：A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金项目：上海市2013 年“ 科技创新行动计划”信息技术领域项目（13511504700） 。
作者简介：叶云斐，1984 年生，本科，助理工程师，主要从事及研究领域：航空计算机信息管理，Email ：leaves616@126.com ；
陈晓建，研究生，高级工程师；
陈伟青，本科，工程师；
谷叶，研究生，助理工程师。
0 引言
近年来我国民航事业快速发展，航班延误现象愈发严重。中国民用航空局的《2013年民航行业发展统计公报》显示： 2013年不正常航班占比27.66%，旅客投诉率较2012年增长13.66%。华东区域经济发展迅速，人口密度大，以全国1/9的空域面积承载着1/3的航班流量，问题尤为显著。以发展的眼光看问题，有必要依靠各方可靠、全面、实时的信息，采用高效合理的航班排序、放飞算法，充分利用空域时隙资源，协同决策（CDM）的概念应运而生。
民航华东空管局CDM系统于2012年12月上线运行，系统基础数据多，计算量大，对软硬件资源要求高。以上海虹桥、浦东两个机场为例，每天就有5 000多架航班起落，涉及空域航路点300~400个，各航路点又分3~4个高度层；在此基础上，CDM系统必须结合实时的流量控制、气象预报等信息反复计算调整，且任何时刻的航班重新规划都会影响到一整条航路上与之相关的所有航班，使计算量成倍增加。随着航空流量的逐年增加，CDM系统计算量也以指数方式快速增长。
现有系统采用传统架构设计，不能满足前瞻性设计要求。理想的CDM系统架构应具有虚拟化、易扩展、按需部署、高灵活性、高可靠性、高性价比的特点。本文提出一种基于云计算的CDM系统构架，利用自动拓扑设计算法（merge-MST）设计网络拓扑，采用Hadoop开源管理软件实现任务调度，最后通过仿真手段验证了该方案的可行性和适用性。
1 现有民航CDM系统的不足
协同决策是一种技术手段，更是一种基于资源共性和信息交互的多主体（空管、机场、航空公司等）联合协作运行模式。华东空管局CDM系统从各个参与单位引接实时航班数据，建立塔台电子进程单系统、A-CDM系统、飞行计划处理系统等，并形成三大客户端——流量管理客户端、塔台客户端和公司机场客户端，系统构成如图1所示。
`该系统基于传统的关系型数据库，以塔台电子进程单为例，架构示意图如图2所示。尽管其成熟度高、可靠性好，但随着数据量逐渐增大，数据范围逐渐拓宽，其存储和查询效率已不能满足需求。
2 云计算平台及其架构设计
2.1 定义和特点
云计算是一种新的计算模式，由分布式计算、并行计算和网格计算的发展而来。其后台大量采用虚拟机，并通过互联网形成资源池。这些虚拟资源可以根据不同的负载动态重新配置，快速并以最小的管理代价提供服务[1]。从用户角度看，云计算具有可靠的存储技术和严格的权限策略，可为客户提供安全可靠的数据存储中心；对用户端的设备要求低，支持手机、平板电脑等无线通信设备；可实现不同设备间的数据、应用共享。
从硬件的角度看，云计算高度灵活，可按需投入或释放硬件资源，从而提高整体利用率。2.2 类型
云计算按其服务层次分为三类[2]，如图3所示：
1)基础设施即服务（IaaS，infrastructure as a service）
在虚拟化技术的支持下，利用廉价计算机实现大规模集群运算能力，同时按需配置，为用户提供个性化的基础设施服务。此类型的典型代表有亚马逊云计算AWS（Amazon Web Services）、IBM蓝云等。
2) 平台即服务（PaaS，platform as a service）
提供的服务是开发环境，允许用户使用中间商提供的设备开发自己的程序。此类型的典型代表有GoogleApp Engine（GAE）等。
3) 软件即服务（SaaS，software as a service）
通过Internet直接提供运行在云计算设备上的应用程序。用户无需考虑基础设施及软件授权等内容。此类型的典型代表有Salesforce公司的CRM服务、ZohoOffi ce、Webex等。
2.3 关键技术
云计算作为一种集群计算和服务模式，运用了多种计算机技术，以编程模型、数据存储管理、虚拟化最为关键。
1) 编程模型
Google提出的Map-Reduce[3]是一种流行的云计算编程模式，Map（映射）程序将数据分割成不相关的数据块，Reduce（化简）程序则将将数据处理的中间结果进行归并，如图4所示。Map-Reduce可将海量异构数据的分析处理工作分解成任意粒度的子任务，并允许在多个计算节点之间进行灵活的数据调度，此外，程序员无需关心数据块的分配和调度，该部分工作由平台自动完成。
2) 数据存储管理
云计算采用分布式的方法存储和管理数据，并利用冗余存储保证数据的可靠性，常用技术有Google的GFS及Hadoop团队的HDFS[4]，其中后者是前者的开源实现。
GFS系统架构如图5所示，整个系统节点分三类：Client（客户端）是GFS提供给应用程序的访问接口、Master（主服务器）是管理节点， Chunk Server（数据块服务器）则负责具体工作。Chunk Server可有多个，每个Chunk对应一个索引号（Index）。作为对比，HDFS体系结构如图6所示。
云计算的数据管理需满足大规模海量数据的计算和分析，大多采用列存储的数据管理模式。现有技术中最主流的是Google的BigTable，Google对BigTable给出了如下定义：BigTable是一种为了管理结构化数据而设计的分布式存储系统，这些数据可以扩展到非常大的规模。此外，Hadoop团队也开发了类似BigTable的开源产品HBase和Hive。
3) 虚拟化技术
虚拟化技术是云计算区别于一般并行计算的根本性特点，其实质是实现软件应用与底层硬件相隔离，把物理资源变成逻辑可管理资源。目前云计算中虚拟化技术主要包括将单个资源划分成多个虚拟资源的裂分模式，也包括将多个资源整合成一个虚拟资源的聚合模式。根据对象又可分为存储虚拟化、计算虚拟化、应用级虚拟化等等。
将虚拟化的技术应用到云计算平台，使得云计算具有灵活的进程迁移方式，更有效的使用主机资源，在部署上也更加灵活。
2.4 架构设计
云计算体系结构的特点包括：设备众多、规模大、采用虚拟机技术、任意地点、多种设备汇集，并可以定制服务质量等等。文献[5]提出了一种面向市场应用的云计算体系结构，如图7所示：
1) 用户：用户可以在任意地点提交服务请求；
2) SLA资源分配器：充当云后端和用户之间的接口，包括服务请求检测和接纳控制模块、计价模块、会计模块、VM监视器模块、分发器模块和服务请求监视器模块；
3) 虚拟机（VMs）：为实现在一台物理机上的多个服务提供最大弹性的资源分配；
4) 物理设备：包括服务器、存储设备及路由器等。
基于云计算平台的华东CDM系统还处于初步研究阶段，采用本架构进行初步设计及仿真验证。
3 云计算网络拓扑设计
云计算系统后端的网络由大量服务器组成，分布广泛，复杂度高。要保证数据的畅通传输，需要设计一个合理高效的网络拓扑结构。
首先，为保证管理扩展和维护的方便，将云计算系统分成多个子网，各子网采用树形拓扑结构，如图8所示。在此基础上，把每个子网看成一个节点，各个节点具备流量、交换能力、地理位置等属性，将云计算网络拓扑抽象成图论数学模型。如何连接各个节点，才能即满足冗余度要求，又尽可能降低网络架设花销已被证明为NP-hard[6][7]，故只能求解近似最优解。此类问题的解法有两种，一种是在限定网络花销的情况下最大化网络的抗毁能力[8]，另一种是在保证网络一定抗毁能力的条件下尽可能减小花销[7]，本文按照后者进行设计。
在图论领域，该问题可简化为求解特定连通度k时最小生成子图的问题，本文主要考虑基于图论的k-FOREST算法[9]、merge-MST算法[10]和启发式算法TEA[7]。通过理论推导，三种算法的时间复杂度如表1所示，其中TMST=O(m?logm)或O(n2),m代表图边数，n代表点数。
本文
参考文献[11]的仿真手段对三种算法进行比较，考虑7、10、15、25个节点的场景，得到平均边数和平均花销的比较示意图如图9、10所示。
通过比较可看出，在节点数目较少时TEA算法表现最佳，但随着节点数目增多性能迅速下降；在节点数多于20个时，则是merge-MST算法更优。
考虑到CDM系统规模庞大，仅华东区域就需要计算机点80~100个，故选取merge-MST进行网络架构的设计。
4 总方案设计
基于云计算架构的CDM系统，依托中心节点、区域节点和业务集中节点，整合分布的物理资源，形成统一的可调配的逻辑资源。总方案结构如图11所示。包括基础设施、虚拟资源层、信息共享云平台层，应用层以及贯穿始终的安全层和管理层。
1) 基础设施层：既包括支持民航CDM系统运行所必需的基础设施，也包括行业内可整合入CDM系统的其他设施。
2) 虚拟资源层：采用云计算技术，整合分布的硬件资源，形成资源池，灵活调配提供服务。
3) 云平台层：涵盖管理底层资源、支撑上层应用的各个软件和模块，包括平台管理、负载均衡、中间件、业务流程管理软件等等。
4) 应用层：将CDM系统功能进行最后一步封装后提供给用户。
5) 安全层：负责整个CDM系统的安全。
6) 管理层：管理整个CDM系统运行配置，包括资源管理、网络监控、部署管理、内容管理以及用户管理等，监控硬件、软件等多个层次，提高整体运行效率。
5 系统测试与应用
为验证所设计方案的可行性，并测试方案性能，本文搭建了测试环境，针对CDM系统多项业务进行了测试。
CDM系统主要业务涵盖协同决策系统、流量管理系统、统一飞行计划处理系统和塔台电子进程单系统。其中协同决策系统为顶层系统；流量管理系统帮助最大限度利用空中交通服务的容量；统一飞行计划处理系统负责接收、处理和飞行计划；塔台电子进程单系统则协助塔台管制员管制飞机的起降。
5.1 硬件环境
云计算集群设有3个master节点，18个slave节点，各节点均是基于X86架构的PC机。PC机配置如表2所示。
所有测试主机均连接在千兆网络中，网络环境中不存在其他设备，干扰因素可忽略不计。
5.2 软件环境
测试采用Hadoop团队开发的开源软件，版本如表3所示。
5.3 测试结果
通过编写程序，在测试环境中进行电报处理、雷达轨迹处理、气象与情报处理、桥位信息处理、航班信息、数据查询以及协同航班处理等压力测试，平均日最大处理条目数量如表4所示。
测试结果表明：云计算平台计算能力强，能够弥补现有民航CDM系统的不足，可满足华东地区CDM系统前瞻性设计要求。
6 结束语
本文针对华东地区巨大的航班吞吐量，提出了一套基于云计算平台的CDM系统设计方案。通过测试验证，该系统架构具备良好的计算能力和业务处理能力，使用灵活，更满足系统安全可靠、成本低、易拓展的需求。
基于云计算的华东空管CDM系统是现有CDM系统的发展方向，将在2015年开始详细设计。
参考文献
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自适应分布式系统实验室, 姚宏宇译. 云端之上——Berkeley对云计算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
【关键词】云计算；电力数据中心；基础架构；关键技术
信息集成作为消除电力企业信息的孤岛，它使信息可以实现共享，并且可以为其提供进行决策支持的关键技术，而数据中心是实现信息集成的重要前提，在其中具有非常重要的学术价值以及应用价值。数据中心也是在近期内一直被广泛关注和研究的重点，也是电力企业在对研制智能电网以及规划智能电网的过程中面临的重要的问题。为了顺利的实现信息共享和系统集成应用，电力企业在现阶段正大力的构建智能电网系统中心和电力调度系统中心完全统一的数据平台，企业信息平台以及配电网系统的信息集成平台等。
1 现存的电力数据中心
现存的电力数据中心具有的功能主要包含获取数据、管理数据、存储数据以及访问数据等。数据获取层可以对营销管理、协同办公、安全生产、物资管理、人力资源、项目管理以及综合管理等业务数据进行提取和转换，使其可以被转换成为规范的、科学的基础数据，并把这些数据合理有效的加载到数据库。对数据进行储存的管理层需要ETL数据库，从而逐渐的形成具有多维度分析的核心数据，并把这些数据合理有效的储存在数据库，从而顺利的实现对数据编码和元数据的管理。数据访问层的主要职责是在展示界面的过程中为其提供统一的、有效的数据，进而让统计查询、分析联机决策辅助以及挖掘数据等功能得以顺利的实现。
各个电力公司以及直属单位的数据都需要按照国家电网公司所规定的特殊设计，在完全满足基础功能与关键指标的前提下，按照自身的生产安全和设备管理等一些特殊的业务特征以及需求进行建设。由于各省的电力系统间一直具有着很大的差异，在对数据中心进行建设时，电力系统的一些特殊软件（网络、环境调节、存储、电力、服务器以及监控等）之间不可避免的具有很大的差别。除此之外，在对软件设施、硬件设施以及数据安全等进行系统的维护和管理的过程中还必须要选用不同的管理技术，随着管理工具的不断增加以及管理设计存在缺陷，所以就导致了缺乏管理经验和管理过程复杂等问题的出现，这样就导致在对数据中心进行维护和管理时成本较高。
2 基于云计算的电力数据中心
2.1 电力系统云计算数据中心的基础架构
选用云计算的技术对现存的电力数据中心进行改善，构建出逐渐向智能电网发展的新型的电力数据中心。在基础的设施层，利用虚拟机监视器和虚拟化平台对一些相关的硬件设备（存储设备、网络设备和服务器）实行虚拟化，对相关的电力公司和直属企业间存在着差异的设施给予屏蔽，把虚拟机当成单位对其进行全面的、科学的自动化管理，主要包括了抽象资源、管理安全、管理负载、部署资源以及监控资源等，它既能让资源利用率有所提升，还能够使相关的管理维护人员对服务器等系统和硬件设施等管理工作得以彻底的摆脱，一定要认真的对系统业务以及虚拟机进行维护，从而让数据中心的管理工作以及维护工作得到简化。
2.2 实时迁移
在电力数据中心，服务器是非常关键的硬件设施，它的资源利用效率对电力数据中心具有的性能有着直接的影响。通过对其进行调查研究可知，目前企业数据中心的大量x86服务器仅运行一个应用，而CPU的利用率则为百分之五到百分之二十之间。通过可靠性以及性能以及对其进行考虑，现存的数据中心业务系统大多数都是运行在不同的服务器上的，例如，项目管理系统以及综合管理系统都运行在自己独立的服务器上，但是服务器自身具备着资源利用效率很低的弊端。在新型的电力数据中心，对服务器进行虚拟化，使单一的服务器通过进行虚拟化，被分为很多虚拟机，从而使服务器资源利用的效率得到提高。
在使服务器的利用效率得到提高的同时，应该把性能开销以及可靠性的问题解决。对可靠性进行解决的有效手段为采取隔离的手段，在服务器上具有若干个虚拟机实例的基础上，必须确保每个虚拟机之间是完全被隔离的，换句话说，就是如果其中的某个虚拟机遭受崩溃，不会影响到其他的虚拟机，使之可以从故障中及时有效的得到恢复，从而使服务器资源利用的效率得到提高。
3 云计算电力数据中心的迁移策略
对电力数据中心进行设计和建设的过程是非常重要的系统工程。目前的数据中心都是利用国家电网公司的规定进行统一的设计建设的，但是因为每个地方的系统业务应用、信息化水平以及成熟程度之间的差异，让电力数据中心在建设的过程中自身具备着独特的特征，虚拟化技术也慢慢的被引入到一些电力数据中心，初步具有了云计算的能力，但是大多数的电力企业依旧停留在以往传统的数据中心水平，远远不能达到智能电网中全新的数据中心对大量的数据储存、高可靠性、可伸缩性、高效计算以及高可用性的需求。
提出了现存电力数据云计算中心通过分阶段对其进行迁移的策略，以此对其得以平稳过渡进行保障。第一，对所有的电力公司以及公司总部的数据中心进行系统的升级，使其能够慢慢的升级到云节点。虚拟化电力数据中心的基础设施，使服务器的可拓展性、可用性以及弹性得到提升，对其进行系统的升级以及改造，让它可以成为建立在云计算基础上的数据中心，也就是人们所说的云节点。第二，对系统中的所有云节点进行连接，使其形成电力公司的私有云。全部的电力数据中心在构建成可用性高以及可拓展的云节点以后，需要把全部的云节点进行有效的连接，从而形成具有多中心性能的私有云。
4 结语
本文通过研究和分析虚拟化服务器、实时迁移以及Hadoop等关键的技术，提出了电力企业云计算数据的整体架构，设计出了构建在Hadoop基础之上的电力数据云计算中心平台，使之可以与新一代数据中心在发展过程中的趋势相适应，并完全满足智能电网的要求。云计算作为一种新型的技术，其虚拟化、资源管理、体系结构以及数据存储等问题还需要进一步的对其进行研究。
参考文献：
[1]潘毅,周京阳,李强,米为民,樊涛.基于公共信息模型的电力系统模型的拆分与合并[J].电力系统自动化,2003(15).
[2]王志南,吴文传,张伯明,何云良,孙宏斌,汪皓,徐文.基于IEC 61970的CIS服务与SVG的研究和实践[J].电力系统自动化,2005(22).
[3]孙泽锋.云计算在电网企业的应用与信息安全[A].中国通信学会信息通信网络技术委员会2011年年会论文集（上册）[C].2011.
关键词： 云计算； 桥梁安全与健康监测； 数据中心； 数据管理技术
中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2013）12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1，2， Wu Jufeng1，2
（1. Wuhan Bridge Science Research Institute（BSRI） Ltd.MBEC， Wuhan， Hubei 430034， China；
2. Key laboratory of bridge structure and health of Hubei province）
Abstract： With the development of bridge safety&health monitoring data center （BSHM-DC） technology， the monitoring data is increased rapidly in exponential speed， which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper， the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing， the selections of key devices and related software are discussed. Lastly， its application expectation of BSHM-DC is prospected.
Key words： cloud computing； bridge safety &health monitoring （BSHM）； data center（DC）； data management technology
0 引言
桥梁安全与健康监测系统是通过在桥梁的关键部位布置高可靠性和耐久性的各类传感器，对结构内力、变形、动力特性、环境状况进行实时监测，获取桥梁在营运期内受各种荷载作用下的结构响应，通过理论计算和规范值与实测值的对比、分析，实现结构异常响应报警、结构营运安全性评估、结构损伤识别等。由于该系统7*24小时不间断检测，所采集的数据量飞速增长。在面对多座桥梁监测系统集成管理的情况下通常采用直联式数据存储方式，其数据的存储能力、数据管理难度、数据安全，以及存储资源的利用等，都难以满足系统设计需求。
云计算可以满足新一代数据中心对网络、存储和计算的业务需求，并能提供丰富的应用服务，是新一代数据中心的核心要素[1-2]。本文通过引入云计算的基础架构，建立了基于云计算的桥梁安全与健康监测数据中心，将分散在全国各地的监测系统数据进行集中可靠的存储与管理，并通过云计算数据中心向用户提供高效、安全的服务。
1 桥梁安全与健康监测数据中心建设的现状
随着在役桥梁安全与健康监测建设的发展，桥梁安全与健康监测系统中海量数据的存储与有效利用日显重要，并成为在役系统普遍关注的一个重点。一个中等桥梁安全与健康监测系统数据日增长量在3GB/天左右，一年有1.1TB增量的数据，数据的维护管理主要依赖系统管理员定期执行，数据管理的实施方式难以统一。随着数据量的增加，数据管理工作量、管理难度及管理成本成倍增加，数据也得不到有效利用。
桥梁安全与健康监测数据中心引入云计算，可将业务数据和应用在公有云和私有云之间同步，当数据中心构建的私有云出现故障，应用可以无缝迁移到公有云中。通过云计算将分散在全国各地的业务系统数据通过INTERNET进行集中存储与管理，可向桥梁技术研究者提供数据共享服务分析桥梁健康监测海量数据；桥梁管理单位即使不具备桥梁专业技术知识也可以在任何地方、任何时间监测到桥梁的实际运营状况，获得桥梁健康监测报告及桥梁营运安全性评估等服务并实时反馈专家意见，大大提高了桥梁管养效率。
基于云计算的桥梁安全与健康监测数据中心建设分两部分，一部分是集成中心，另一部分是分散在全国各地的分中心。集成中心的数据增长量在10GB/天，分中心的数据增长量在3GB/天左右，增长量会随着业务量的增加而增加。集成中心利用云计算技术对服务器、存储、网络等IT资源进行虚拟化，将所有的IT资源放在一个资源池中并进行动态资源管理，对IT资源进行监管和云管理。当资源池中分配给某个桥梁安全与健康监测系统的资源出现故障或者该系统获得的资源不够用的时候，云管理平台会自动分配给它新的资源，从而保证系统7*24小时不间断运行。
分中心的数据通过公共Internet网络与集成中心组成云网络，数据进行同步，在集成中心对数据进行异地容灾备份。集成中心有两份数据，一份数据面向桥梁安全与健康监测系统（数据库A），一份数据是完全备份数据（数据库B）。我们主要考虑如何优化实时数据读取和历史数据查询。数据库B中保留所有数据，数据库A只保留最近1周的数据；业务系统实时读取的是数据库A中的数据，而查询一周之前的数据就读取数据库B中的数据。
图1 分中心数据库结构与操作
2 关键技术
云计算（Clouding Computing）由Google、Amazon等公司于2006年首先提出，它是一种利用互联网实现随时随地、按需、便捷地访问共享资源池（如计算设施、存储设备、应用程序等）的计算模式[3]。我国政府高度重视对云计算的发展，把其列为重点发展的战略性新兴产业[4-5]，云计算技术的应用已成为国内外的热点研究问题[6-8]。
基于云计算的桥梁安全与健康监测数据中心的建设所需专业涉及面较广，如桥梁专业、网络通信专业、计算机专业等。本节着重讨论其在计算机领域内实现云计算数据中心的关键技术。
2.1 虚拟化技术
虚拟化技术能让所有计算元件在虚拟的基础上运行，是实现云计算数据中心不可缺少的功能。通过把有限的固定的资源根据不同需求进行重新规划以达到最大利用率的思路，在IT领域就叫虚拟化技术[9-10]（Virtual Technology）。这种解决方案能在很大程度上优化资源、节约成本。虚拟化技术包括计算虚拟化技术、网络虚拟化技术、存储虚拟化技术。系统虚拟化前后的特点如表1所述。
表1 虚拟化前后特点比较
[虚拟化前＼&虚拟化后＼&每台主机一个操作系统＼&每台主机上运行多个虚拟机，每个虚拟机一个操作系统
＼&每台主机上运行多个程序，可能造成冲突
＼&多个程序可分别在运行在多个虚拟机上，应用程序相对独立的运行空间，避免冲突
＼&每台主机配一个存储，存储资源得不到有效利用，且一旦存储出现单点故障，数据可能丢失
＼&多个虚拟机共享存储，当一台主机出现故障时，会自动分配其他主机上的硬件资源给故障主机的应用程序＼&硬件成本高，且配置和管理困难＼&虚拟机独立于硬件运行，可动态资源分配，新程序的部署工作只需要几分钟，有效节约硬件和维护成本
＼&]
目前虚拟化技术的产品主要有EMC的 VMware虚拟化产品，Microsoft的Virtual Server， Sun的Virtual Box，以及Ctrix公司的Xen Server和Xen，占市场份额最大的是EMC的 VMware虚拟化产品。
2.2 数据存储技术
基于云计算的桥梁安全与健康监测数据中心需要满足大数据管理的需求，为大量桥梁管理者提供服务并且为桥梁研究者提供大数据分析功能。数据安全可靠存储是实现大数据管理分析的基础。
数据存储系统从物理结构来看，底层主要是磁盘，通过光纤、串口线等与磁盘后的板卡和控制器相连。目前最常用的存储方式有DAS（直接连接存储）、SAN（存储区域网络）和NAS（网络附加存储）。直连存储（DAS）是直接通过SCSI线缆或者光纤直接连接到服务器上。存储区域网络（SAN）是通过网络方式连接存储设备和应用服务器，目前常用的SAN结构根据连接介质不同而分为FC SAN和IP SAN。网络附加存储（NAS）是将网络存储设备直接放在网络上提供文件共享服务。这三种技术优缺点如表2所示。
表2 DAS、SAN、NAS数据存储系统技术优缺点
[特征＼&DAS＼&SAN＼&NAS＼&安装难易度＼&较难＼&较难＼&很容易＼&集中管理＼&难＼&专用软件＼&基于网络＼&扩展性＼&低＼&高＼&中＼&数据共享＼&难＼&通过软件实现＼&内部实现＼&处理能力＼&强＼&强＼&视网络情况而定＼&备份＼&传统方式＼&服务器不参与＼&多种方案＼&容灾＼&基于服务器＼&端对端及多点容灾＼&端对端方案＼&安全＼&中＼&高＼&低＼&]
目前主要存储厂商的FC SAN存储可以实现8Gbit/S的传输速率，但费用较高，所以中大型数据中心建设中还是处于领先地位。但是随着IP SAN技术的发展，较高的性价比使FC SAN存储逐渐扩大了在市场的份额。
2.3 动态资源管理
云计算的资源包括存储资源、计算资源、网络资源、基础设施资源以及其他资源[2]。当应用云计算时，面对大量设备和相关技术，如何有效整合各种资源并实施动态资源管理是实现云计算的关键。云计算动态资源管理系统的基本功能，是接受资源请求，合理地调度相应的资源并且把特定的资源分配给资源请求者，使请求资源的业务得以运行。它能跨资源池智能动态调整计算资源，使IT与业务优先级对应，动态提高系统的管理效率。
云计算的动态资源管理必须处理好存储架构问题，解决资源部署、监控和调度策略等问题。在VMware虚拟化产品中，DRS（vsphere Distributed Resources Scheduler）可以根据每一个虚机的实际运行情况，适时地对内存、CPU、网络的消耗进行动态调整，将其平均分配到DRS集群的每一台主机上面。动态分配依靠VMotion实现，所以，VMotion是DRS的先决条件。
3 云计算数据中心实现
基于云计算的桥梁安全与健康监测数据中心实现了数据中心服务器、网络、存储虚拟化及负载均衡，其基础架构拓扑图如图2所示。
整个方案通过两路6核服务器配合后端IP SAN存储技术，并采用云计算虚拟化技术来实现桥梁安全与健康实时监测。在云计算操作系统软件的支持下，将3台两路6核服务器组建HA集群，并配合DRS及VMotion等高级功能，实现业务的连续性，减少计划内宕机时间，有效地提高资源利用率。
3.1 计算系统设备及软件实现
计算系统设备主要是指服务器，服务器的选择上主要考虑的是服务器的性能，满足五年内桥梁安全与健康监测业务的需要，主要计算能力由3台两路6核服务器担任。
而计算系统虚拟化的实现主要是利用软件将服务器虚拟化。目前主流的、最具代表性的虚拟化软件是VMware的Vsphere软件。
本方案采用3台企业级两路服务器（HP Enterprise Server）作为核心数据库平台。该服务器能满足数据库应用的高可用性、可恢复性，并具有错误检测及消除单点故障的功能。采用数据库双机方案也增强了应用的可扩展性，满足业务不断增长的需要。由于该型服务器采用全新的因特尔快速互联通道互联架构配合因特尔志强E5系列处理器及SAS 6Gbps高性能磁盘控制器，使系统联机处理性能提升2.5倍以上，数据库性能提升3倍以上，更加适用于基础架构、数据库核心应用。
3.2 存储设备及数据管理软件
在保障客户应用的前提下，存储将成为一个必须受到关注的核心环节，因此双控制器、多处理器和高可靠光纤8Gb存储成为首选，这能有效保障业务的物理稳定特性。出于数据安全备份的考虑，配置大存储容量6TB存储空间服务器作为虚拟机的备份服务器，可以保证在光纤存储故障时或维护时的业务连续性，并对客户的应用数据也做到了统一备份。为了保障业务运行的高性能、可持续性和可扩展性，我们选择了IP-SAN的存储模式，通过串口线连接磁盘与控制器。云计算计算节点服务器通过交换机连接存储设备，实现数据链路的高品质性能保障。
在数据的统一备份处理上，基于虚拟机文件驻留在共享SAN存储上，可以使用存储区的映像来备份虚拟机文件，这样做不会在运行虚拟机的云计算计算节点主机上引起任何额外的负载。统一备份功能可以满足缩短虚拟机的备份时间，移除客户应用服务器上的备份工作负载，以及从中央服务器中执行备份的工作。其工作流程是从运作中的主机上剥离磁盘，将磁盘链接到专用的统一备份服务器上，然后备份磁盘中适当的文件，此时原始主机仍能看到该磁盘并能正常工作。通过有效利用虚拟机存储区的映象文件，高效地保障客户数据安全。
3.3 网络设备
云计算数据中心网络需实现双链路可靠冗余连接、负载均衡，充分考虑网络的可管理性。本方案采用两台DLINK交换机实现设备冗余，同时通过实现网络虚拟化来保证网络策略安全，使之不受虚拟机位置迁移的影响。
3.4 云平台管理
云管理平台是负责整个数据中心的资源池管理、是实现IAAS的关键环节。本方案采用VMware公司的Vcenter软件，与其他的管理软件相比，该软件的使用为IT管理者大大降低了云计算虚拟环境管理的难度。
该云平台是目前最强大的虚拟环境管理平台，它能提高在虚拟基础架构每个级别上的集中控制和可见性，无论是几十台还是几千台虚拟机，都能集中、简单地管理。它可以通过使用向导或者模板，在几分钟内创建新的虚拟机或主机，最大限度地减少错误和停机；它还可以借用DRS（vsphere Distributed Resources Scheduler） 持续监控各个资源池的使用情况。此外，借助vCenter API和.NET可实现vCenter Server和其他工具的集成，并且支持在vSphere Client中嵌入自定义插件，为管理IT环境提供选择自由。
4 结束语
目前，基于云计算的桥梁安全与健康监测数据中心建设还处在初级阶段，随着桥梁安全监测技术和云计算技术的发展，云计算数据中心会逐渐形成系统化、网络化的全国性的桥梁安全与健康监测平台。该平台能面向所有桥梁行业的客户，提供存储空间及桥梁安全与健康监测服务；同时还能根据存储的大量桥梁相关数据，进行数据挖掘及数据分析，在桥梁学术研究方面具有重要意义。
基于云计算的数据中心建设是一个复杂的系统工程，本文着重从桥梁安全监测数据中心的关键技术方面阐述了系统基础架构，以及关键设备和软件的选型，希望能为其他行业数据中心的建设提供一些参考。
参考文献：
[1] 林小村.数据中心建设与运行管理[M].科学出版社，2010.
[2] 刘鹏.云计算[M].电子工业出版社，2011.
[3] MELL P， GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology， SP800-145， Gaithersburg：U.S Dept. of Commerce，2011.
[4] 国家科学技术部.中国云科技发展"十二五"专项规划[EB/01].
/tztg/201209/W020120918516104069531.doc，2012
[5] 工业和信息化部电信研究院.云计算白皮书（2012）[M].工业和信息化
部电信研究院，2012.
[6] 田冠华，孟丹，詹剑锋.云计算环境下基于失效规则的资源动态提供
策略[J].计算机学报，2010.33（10）：1859-1872
[7] 朱仕村，张宇峰，张立涛，朱晓文，胡云辉.面向长大桥梁结构健康监测
物联网的云计算[J].现代交通技术，2011.8（1）：24-27
[8] 孟凡立，徐明，张慰.基于云计算的高校数据中心设计与实现[J].现代
教育技术，2012.22（3）：99-103
[9] 杨望仙，朱定局，谢毅，范朝冬.虚拟化技术在云计算中的研究进展[J].
先进技术研究通报，2010.4（8）：5-10
关键词：银行业务 ；批处理流程；Hadoop MapReduce ；云计算
中图分类号：TP302文献标识码：A文章编号文章编号：16727800（2013）0010000104
作者简介：赵曦（1971-），男，博士，上海金融学院信息管理学院副教授，研究方向为互联网金融应用。
0引言
随着大型商业银行业务规模的扩大和信息技术的发展， 数据中心已经成为大型商业银行业务系统与数据资源进行集中业务处理的枢纽，汇集了规模化的IT计算、存储和网络资源。
银行主要承担本外币储蓄、信用卡、对公存贷款业务，银行汇票及联行业务，国际结算和外汇买卖，代收代付等业务 [1]。银行业以网络和信息技术作为其业务处理的核心支撑，形成了前端业务信息采集、中端数据交换和数据中心处理“分布采集、集中处理”模式。随着业务量的增加和金融新产品的涌现，业务管理和信息处理“大集中”后对流程处理效率、系统扩展性和数据存储可靠性提出了更高的要求。金融行业特别是银行业在处理在线联机业务（online transaction）的同时，还需要处理大量的离线批处理业务（batch processing），如影像文件处理、票据结算、外汇清算、薪资、各类报表，批处理业务具有数据量大、占用计算资源多、限时处理完成的特点，银行信息中心通常要配备足够的资源在特定时间段（夜间、周末、月末）进行批量业务数据处理。如何提高批处理业务能力、合理配置计算资源是银行信息中心不断要面对的挑战。
以计算资源和服务虚拟化为核心的云计算架构和技术得到了广泛的认同，正在成为IT产业和信息化应用系统架构的发展趋势，实践表明，基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。
本文提出了一种应对批量业务流程处理的优化方法，基本原理是将业务流程的任务节点进行分解和分类，形成流程队列和若干可以进行并行处理分类任务队列，使用Hadoop MapReduce并行计算框架进行并行处理，MapReduce提供的资源调度和容错机制能够有效提高业务处理系统的可扩展性和稳定性。模拟实验表明，流程任务分解优化方法比通常的以流程为处理单元的方式具有一定的优势，可以在云计算环境下分组处理具有共同特征的计算和操作任务，实现优化资源调配，提高批量业务处理的效率。
1批处理业务流程优化
批量业务处理是指一组遵循同一处理流程的重复操作，而涉及的业务流程是一组将输入转化为输出的相互关联或相互作用的活动，活动之间不仅有严格的先后顺序限定，而且活动的内容、方式、责任等也都必须有明确的安排和界定，以使不同活动在不同角色之间进行交接成为可能，批量处理业务流程活动之间的转移不需要人工干预。处理流程中的活动根据数据处理的要求和特点进行设计，如先进行数据核对，然后进行计算，最后进行账户操作，每个活动会产生临时数据。为了提高处理能力和资源使用效率，流程活动设计尽可能遵循以下几个原则：
①独立于其它流程和活动，可进行重复操作；②使用较少类别的计算资源，CPU、网络、存储；③能够进行并行处理。
图1示意了批量流程处理的原理，银行信息中心在每个批处理周期安排若干批处理的规划，配置计算资源，启动和监控批处理过程。每个批处理中包括对应同一处理流程的批量处理任务。
银行信息中心根据资源配置情况，安排批处理规划中的批处理执行，可以做到并行处理，以满足处理时限的要求，每个批处理分配固定的或虚拟化的资源（服务器、CPU、存储、外设），当现有资源不能满足批处理要求时，则需要不断增加资源。这种以批处理流程为单位来决定资源配置的模式（图2）不一定能够确保资源的高效使用，如：需要大量CPU计算的流程同时配置I/O性能较高的资源，造成I/O资源的浪费。经过分析，可以通过优化批处理业务流程和操作来进行改进（图3），以进一步提高资源的使用效率。
以优化流程任务作为并行计算单元，形成批量处理任务队列，根据任务操作的类型来分配最适合的资源，理论上提高了资源配置的精细程度，有助于提高资源使用效率。
2基于MapReduce的批处理优化计算
为了验证提出的以流程任务为基础配置资源的批处理运算架构（图3），我们搭建了Hadoop/MapReduce并行计算实验环境，通过模拟批处理业务，对两种资源配置模式进行比较。
Hadoop[6]云计算平台的核心由HDFS分布存储和映射机制及MapReduce并行计算架构组成，具有开放性、稳定性和扩展性方面的优势，成为了云计算研究和应用的重要平台之一，其架构与提出的批处理流程优化模型吻合程度高。
MapReduce[8]通过两个函数Map和Reduce提供并行计算框架， 将计算任务（Job）分解为可以进行独立和并行计算操作集合（Tasks），提交给Map函数处理，而Reduce函数收集、整理、排序Map函数的计算结果。其基本功能是按一定的映射规则将输入的 （k1，v1）键值对转换成另一个或一批list（k2，v2）对输出，而Reduce将一个或多个Map输出的list（k2，v2）转换为新的键值对list（k3，v3），作为任务计算的输出[2]。
一种基于C++的脚本语言和解释器封装了实现上述功能的基本功能函数，用来描述任务的执行操作。根据上述模拟批次规划和流程节点类型，得出计算队列表。
硬件计算架构使用5台Ubantu Linux服务器提供Hadoop MapReduce并行计算平台，1个NameNode和4个DataNode，网络环境为100M局域网，通过SSH实现服务器之间的连接、控制和HDFS数据复制，流程和任务队列管理程序运行在NameNode上，Map和Reduce实现分布在DateNode上。图7所示为流程优化模拟架构。
平台模拟了以业务流程为处理单元和任务分解优化两种计算架构，使用同样的模拟流程和数据，同时检测了当一个DateNote服务器宕机时的任务容错机制和性能，表4汇总模拟运行的比较数据。
图7Haddop MapReduce流程优化模拟系统架构
流程最短处理时间指流程任务按照关键逻辑路径执行需要的累计时间，当一个任务处理完成后才能激活后续节点任务。以流程为单位的队列处理模式在4个DataNode平均分配流程，每个DataNode处理的流程数量几乎均等，资源的使用率也相同。任务优化分解方法形成了7个任务队列，DateNode资源分配按照优先资源对照表3进行。
流程平均处理时间指进入流程队列到所有任务处理完毕的时间，包括等待和任务处理时间，资源使用差异指CPU和I/O在高度使用和过度空闲的比例关系。
根据实验平台记录的运行数据，在同样的批处理流程和硬件架构条件下，使用业务流程分解优化的并行计算能够处理更多的事务（320min对比430min），资源的使用效率得到提高（54%对比31%），即使考虑到流程分解和多个任务队列管理的额外开销，运行结果还是表明了所提出方法的优势，为进一步深入研究和完善提供了基础。
3结语
银行批处理“大集中”后，其数量和规模不断扩大，银行信息中心不断面临IT资源优化和灵活配置的挑战，一方面要提升IT架构的资源数量和技术水平，另一方面要优化批处理的模式来更有效地利用IT资源（计算、存储、网络、I/O）。
云计算技术的研究和应用成为了IT产业发展的一个重要方向，基于云计算架构的系统在资源利用、服务效率、运行成本及能源消耗方面具有明显的优势。云计算架构的出现也引发了在信息系统设计、功能开发和维护服务的巨大变化。作为以信息化技术作为重要支撑的银行业，正在逐步尝试和分享云计算带来的各种优势。本文在此背景下，提出了一种针对银行批处理业务的优化流程分解方法。
业务流程分解优化方法通过对流程任务分组，可以为实时处理大批量流程的应用领域（银行、证券、保险、电子商务）提高处理效率，MapReduce原理为流程节点处理提供了并行计算框架，其调度和容错机制可以实现系统计算资源的高扩展性和稳定性。模拟实验表明，本文介绍的基于并行计算的优化流程分解方法比以整个批量处理流程为处理单元的方法在效率、架构和灵活性方面具有一定的优势。下一个阶段，拟将该方法进一步完善，在银行等典型批处理业务应用领域进行深化和拓展。
参考文献：
[1]李得仁.银行批量业务后台集中处理模式的实现[J].中国金融电脑 ，2012（11）.
[2]李成华.MapReduce：新型的分布式并行计算编程模型[J].计算机工程与科学， 2011（3）.
[3]杨志豪.一种适应数据与计算密集型任务的私有云系统实现研究[J].计算机应用研究 ， 2011（2）.
[4]易小华.面向MapReduce的数据处理流程开发方法[J].计算机科学与探索，2011（2）.
[5]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM，2008， 51（1）： 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http：///mapreduce/.
【关键词】云计算；云基础架构；虚拟化技术；分布式存储系统；并行编程模型
1.引言
自新千年IT业引入云计算概念以来，通过广大的市场需求及雄厚的技术支持，大规模云计算系统已成为当今IT业发展的主流。实现云计算的基础是实现云计算系统基础架构。一个云计算系统的优秀与否，关键在于其基础架构是否能够稳定、高效地完成各项任务。本文试图结合相关资料，对云基础架构及其效能进行分析、定义及具体阐述，为下一步研究提供有力参考。
2.云计算简介
云计算的迅猛发展与广大的市场需求和强大的技术支撑密切相关。首先，随着IT业的迅猛发展，各IT运营商都形成了各自庞大的服务器集群。如何实现现有集群的重新整合以降低运维成本，提高效率成为运营商考虑的首要问题；另外，IT市场的迅猛发展也要求各运营商提供更加稳定、快捷的服务。其次，分布式系统、虚拟化技术的不断发展完善，使得服务集群性能的快速提升成为可能。所以，在上述两方面原因的相互作用下，云计算得到了前所未有的发展。
目前，不同公司对云计算有着不同的理解和实现方式。通过对现有云计算系统的分析及对相关资料的研究[1—5]，本文认为云计算是以商业需要为出发点，将数量庞大的服务器集群整合成为分布式的资源池，通过虚拟化技术、Web2.0技术将资源池强大的计算能力、存储能力和构建在其基础之上的各类应用以按需计费的形式从不同的层次（Infrastructure、Platform、Application）租赁给用户的一种新型网络运营模式。
由上述定义可得到云计算体系结构如图1。
由图可知，云计算基础架构位于云计算系统的底层，它为云计算系统的出色运营提供了有力的支持。
3.云计算基础架构
3.1 云计算基础架构的定义
目前，业界及学术界对云计算基础架构还没有一个统一的定义利标准。各IT运营商均根据自身的实际情况，以各自的理解定义和实现云计算基础架构的部署。理工大学教授刘鹏在其著作《云计算》中提出：云基础架构及管理层由数据中心与云基础架构、安全产品、基础架构和运营管理三大部分组成[3]。作为虚拟化技术的龙头，Vmware公司在谈到其云基础架构层产品时说道：云计算基础架构是指通过虚拟化技术将传统数据中心转变为云基础架构并在其之上创建云，将IT基础架构作为服务交付给客户使用[6]。Lenk等人在其文章谈及云计算基础设施层时也指出：云基础架构可划分为基础设施服务和资源集两大部分，其中资源集可分为虚拟资源集和物力资源集；而基础设施服务又分为高级基础设施服务、基本基础设施服务、计算服务、存储服务和网络服务[7]。
通过对现有云基础架构以及对相关文献资料的研究，本文认为云计算基础架构是指由硬件资源（PC服务器、磁盘阵列、路由器、交换机及相关配套设备）组成，通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。
3.2 云计算基础架构的分类
通过分析研究现有云计算系统及相关[8—12]，本文认为云基础架构按照服务的对象可分为基础型云基础架构和外向型云基础架构：基础型云基础架构指主要向运系统上层提供计算、存储资源服务的云基础架构，基础型云基础架构的代表系统有：TFS、GFS、Cassandra、KIDC；外向型云基础架构指直接向用户提供计算、存储资源服务的云基础架构，外向型云基础架构的代表系统有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基础架构的结构体系
通过对当前业界主流云基础架构系统的分析和对相关学术成果的研究，可以看出云基础架构的作用是通过将物理资源转化为虚拟资源池，实现对资源的监控、调度和管理以达到为上层应用和用户提供弹性的计算和存储资源的目的。云基础架构结构框架如图2。
由此本文将云基础架构分为以下五个层次：
1）物理层是指搭建、部署云基础架构所需的物理设备和配套环境。起作用时为云基础架构提供基本的物力资源，并保持物理设备的可靠性。
2）虚拟层是指通过虚拟化技术解除实现方式、地理位置或底层物理配置对计算机资源的限制，打破上层与物力资源之间的耦合关系，形成统一的虚拟资源。虚拟层的作用是为上层提供可靠且能够灵活按需分配的虚拟资源。虚拟层由虚拟计算资源、虚拟存储资源和虚拟网络资源组成。
3）数据层是指对云基础架构内运行的客户数据进行基本操作和管理的层次。数据层主要包含两个部分，既数据处理与数据管理。
4）管理层是整个云基础架构中的一个抽象层次。它对云基础架构的各类资源进行监控，根据实际负载状况对资源进行管理和调度并且根据上层需求对资源进行快速部署，以保证云基础架构高效运行。云基础架构管理层主要由资源监控、负载管理、资源部署和安全管理四个部分组成。
5）服务层是指为上层云计算应用调用云基础架构计算、存储资源预留的接口和对用户使用云基础架构计算、存储资源提供的交互界面。服务层对云基础架构效能的影响体现在服务层各类接口的通用性上。因为服务层接口与上层的松耦合性能够减小底层云基础架构对上层应用的限制，从而提高云基础架构自身的可用性。
3.4 云基础架构实现的主要技术
3.4.1 虚拟化技术
虚拟化是表示计算机资源的一种抽象方法。通过虚拟化，可以简化基础设施、系统和软件等计算机资源的表示、访问和管理，并为这些资源提供标准的接口来接受输入和提供输出[2]。通过虚拟化技术，可以实现在一台服务器上运行多个虚拟机，从而提供服务器的效率。由于绝大部分PC产品均属于X86架构，所以本文论述的虚拟化技术主要指X86架构的虚拟化技术。当前X86虚拟化技术的主流产品是VMware的VMware vSphere。
vSphere主要用于服务器的虚拟化，即在一台物理服务器上运行多台虚拟机，以次达到服务器整合和优化的目的。vSphere的核心是ESX架构，它可分为两部分：Service Console和VMKernel。其中前者提供管理服务，后者提供虚拟化能力。
随着虚拟化技术在云计算中发展中的作用越来越重要，对虚拟化技术的研究也成为热点。对虚拟资源的管理便是热点之一，[13]提出将VM模型集成到资源管理框架里，利用两极调度将VM的管理集成至批调度器里，以次为用户提供调度服务。
当前如Amazon EC2等云计算产品大多是以虚拟机的形式为用户提供计算能力，但对于虚拟机的具体配置，需要用户手动完成，因此虚拟化技术在自适应方面还需要进一步研究。
3.4.2 分布式存储系统
随着IT业的发展，网上交易、网上检索等系统所要处理的数据量越来越大。如何利用最低的资源成本创造最高的运行效率成为各大运营商考虑的首要问题。因此研发人员开发完成了一系列分布式存储系统，为云计算提供了强有力的后盾。
分布式存储系统研发目的是为云基础架构提供高效、海量的数据存储能力。各大运营商在搭建自己的云基础架构前都会开发自己的分布式存储系统如Google的GFS分布式文件系统。Google的GFS（Google File System）[14]是Google研发完成的作用于底层的分布式文件系统。GFS的作用是为大规模分布式应用系统提供强大的数据存储服务。GFS的核心设计思路是将系统故障当作一种常态来处理，实现这一思路的技术主要是提供多个副本进行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外还提供Snapshot和记录追加两项操作。Snapshot以最低的开销创建一个文件或目录副本，记录追加则保证多客户同时对文件进行数据追加时的原子性和正确性。
GFS含有一个主控服务器（Master）和多个块服务器（Chunk Server）。一份文件由设备经接口，会被分为有限个数据块（每个数据块64MB）。此外，每个数据块都会产生一个元数据（
当前分布式存储系统已成为云基础架构重要组成之一。在学术界，对分布式存储系统的研究逐渐成为热点。[11]提出并实现了一种对等结构分布式存储系统NDSS，该系统取消了类似GFS中主控服务器的中心节点，而是利用分布式共享内存（DSM，Distributed Shared Memory）实现了数据一致性模块，利用分布式共享位图（DSB，Distributed Shared Bitmap）限制了多个节点对信息的同时访问，解决了同步访问控制问题。以此在对等节点中完成了中心节点的主要功能。从测试结果看，NDSS系统的整体性能优于有中心节点的YNS系统[10]。
目前，云基础架构中著名的分布式存储系统还有Google的Bigtable分布式存储系统和Amazon的Dynamo分布式数据存储中心[11]等。它们虽然为云基础架构提供了强大的动力，但仍有改进之处。
3.4.3 并行编程模型
并行编程模型是云计算中的一个重要概念。它是指系统为高效并行处理海量数据而设定的一组数据处理规则。研发人员为了解决输入数据的并行计算、分发数据等问题提出了并行编程模型的概念。
MapReduce是Google公司开发的一种新的抽象模型，也是当前起主导作用的编程模型。它的设计思路来源于函数式编程语言的映射和简化操作[1]。MapReduce的核心思想是将数据逻辑列表通过Map函数处理成为键值对集（），经过排序将具有相同Key值的键值对放在一起后通过Reduce函数将具有相同Key值的键值对的Value值进行合并。
当前对并行编程模型的研究大多以在MapReduce的基础上提出改进方案为主。在文献[15]中。Zaharia等人根据MapReduce建立在系统同构的假设基础上，提出了LATE（Longest Approximate Time to End）调度算法。通过新型调度算法的改进使得MapReduce在异构环境下运行。
虽然现行并行编程模型为云计算提供了强大的技术支持，在某些具体情况的适用性上还需进一步的完善。
4.结论与展望
当前对云基础架构的研究主要集中在业界IT运营商，在学术界对云计算基础架构的研究主要集中在单个技术性能的改进与提高上，明确提出云计算基础架构概念，并进行整体性理论分析研究相对较少。本文通过分析研究现有云计算基础架构实例及相关文献资料，提出了云计算基础架构定义，指出：云计算基础架构是指由硬件资源（PC服务器、磁盘阵列、路由器、交换机及相关配套设备）组成，通过虚拟化技术、分布式并行技术整合形成的用以直接对外提供存储、计算服务或作为基础设施为上层云计算应用提供存储、计算能力支撑的一种高效、可靠并且具有良好扩展性的底层分布式系统。根据云计算基础架构定义，预计在今后的一段时间内，对云计算基础架构的研究会朝着以下几个方面进行：
1）更加高效的数据交互体验。云计算基础架构为上层应用提供存储与计算能力，在此过程中必然会存在基于请求的数据交互过程。而数据交互的速度会直接影响用户对云计算应用的操作体验。所以对高效的数据交互地研究会成为未来云计算基础架构的研究重点。
2）更稳定的系统运行过程。云计算基础架构位于云计算系统的底层，其运行的稳定与否直接关系到整个云计算系统的运作。尽管当前已有多种技术手段（资源监控技术、同步复制技术，心跳检测技术等）来确保云计算基础架构的稳定性。但是这些技术手段任然存在自身消耗资源过大、检测周期与负载变化不适应等问题。而这些问题也会在今后的云计算基础架构的研究中得到解决。所以系统的稳定性也将是云计算基础架构研究的重点之一。
3）更灵活的系统扩展。随着数据量的增加，云计算基础架构不得不面临系统扩展的问题。而实时变化的数据交互量，使得云计算基础架构在扩展的同时更加注重扩展的灵活性。系统的扩展意味着资源的扩充，而系统扩展后的资源合理分配是体现灵活系统扩展的重要部分。当前尽管各类云基础架构都在努力统一和规范各自系统扩展接口并改进资源分配方式，但资源分配是否能够与负载变化同步依然是问题的实质和仍未解决的问题。而这也是云计算发展的基本出发点和立足点。所以，灵活的系统扩展能力是云计算基础架构未来的重要研究方向。
综上所述，云计算基础架构是一个具有现实意义并充满挑战的新兴领域，它的发展将对云计算发展产生巨大的推进作用，而云计算基础架构也会在未来的发展中扮演越来越重要的角色。
参考文献
[1]陆嘉恒等.分布式系统与云计算[M].北京：清华大学出版社，2011.5.
[2]吴朱华.云计算核心技术剖析[M].北京：人民邮电出版社，2011.5.
[3]刘鹏.云计算[M].北京：电子工业出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云计算安全与隐私[M].北京：机械工业出版社，2011.5.
[5]朱近之.智慧的云计算[M].北京：电子工业出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吴昊，白松林.云计算安全研究综述[J].电信科学，2011，27（4）：37—42.
[9]陈丹伟，黄秀丽，任勋益.云计算及安全分析[A].计算机技术与发展，2010，20（2）：99—102.
[10]张建勋，古志民，邓超.云计算研究进展综述[A].计算机应用研究，2010，27（2）：429—433.
[11]吴英，谢广军，刘景.对等结构的分布式存储系统设计与研究[A].计算机工程与应用，2006，42（4）：135—139.
[12]王刚，刘晓光，刘景.网络软RAID的设计与实现[J].计算机研究与发展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
