时间:2024-01-08 11:25:00
序论:在您撰写云计算基础技术与应用时,参考他人的优秀作品可以开阔视野,小编为您整理的7篇范文,希望这些建议能够激发您的创作热情,引导您走向新的创作高度。
云计算包含了控制、分层架构、虚拟、负载平衡等各种计算机常用的技术,也融入了网络技术,将互联网上大量搁置在一边暂时不用的设备和资源合理利用起来,使得存储空间指数被扩大。云计算论文的开拓为数据存储带来了福音,让各种资源设备能够体现自己的价值,是互联网时代一个重要的里程碑。
1 云计算
云计算作为一种计算的模式,主要是基于网络来实现的,在云计算技术发展中,将分布式与并行处理的思维充分融合到一起,结合网络的计算与存储功能,运用虚拟的方式来实现数据的存储和运算。在云计算中,数据不再依赖于本地的计算机或其它的终端来进行存储,而是运用网络技术,移驾到网络上大量的闲置资源上,这是资源运用的改革创新,通过云计算大大解放了本地设备的资源占用率,释放了大量的存储运算空间。“云”作为一个资源共享的平台,任何用户都可以用手中的设备终端通过网络与“云”相连,实现资源的管理,免去了购买更多存储空间。“云”实际上包含了巨大的存储空间,这些存储空间都是由无数的计算机和服务器构成的,云计算的方式相当于一个资源合理分配的过程。
2 云计算体系结构和服务模式
2.1 云计算的体系结构
云计算的体系并不复杂,简单来说可以通过各个结构的功能不同将其分为三个层次。首先,最基层的就是提供资源共享的基础管理层;其次,云需要与外界的设备进行连接,为其提供服务,我们将这一层次称为应用接口层;再就是运用云计算来实现具体的操作层次——访问层。这三个层次之间看似独立运作,各自实现一定的功能,实则具备相互递进的关系,由下到上依次深入云计算的核心功能。
2.2 云计算的服务模式
云计算有三种不同的服务模式,基础设施、平台和软件。基础设施又可称为服务IaaS,是最基础的服务模式,它使用起来没有特别的严格规范,适用于一些基础设备,例如虚拟的服务设备;平台服务即PaaS,用户可以通过这个平台提供的服务将自己的一些应用进行托管,平台服务不想基础设施服务那样自由,在使用中需要按照具体的细则要求来开展;软件服务也称SaaS,它通过浏览器将完整的软件输送到用户,实现软件资源的共享,在日常生活中有很多的应用实例,例如人力资源管理就需要用到这样的软件服务模式。
3 云计算关键技术问题
3.1 访问控制管理
访问控制管理的主要目的是保障数据的匹配性,不同的用户将数据存储到云端,如果没有相应的管理技术,那么云计算的安全性就岌岌可危,云计算所构造的美好蓝图也将沦为泡影。为了控制访问权限,需要对于每一位用户做一个安全保障,这就需要密码学的应用,通过加密的方式将每一份数据资源存储起来唯一面对一个用户开放。在密码钥匙设置中还需要解决很多问题,如密码忘记,有效时限等,这都需要有一个系统的管理。
3.2 数据安全问题
用户需要通过云端来实现数据的存储及运算,这就涉及到数据传输、数据存储、数据清理、数据隔离等多种相关的关键技术,这些技术的核心都是保障数据在云计算过程中的安全性。在数据传输过程中,为了保证数据传输过程中不会发生泄漏,需要进行加密处理,但是在加密保障安全性的同时数据可能会出现丢失情况;相反的,如果保证数据传输完整性,那么数据的安全性能又将降低。因此,如何协调安全保密与完整不丢失的关系式数据传输中需要解决的问题。目前主要采用的数据存储技术有GFS和HDFS两种,为了保证存储的安全,以及数据在读入与写出之间的流畅有序,相关的存储计算还需要不断的改进发展。数据隔离技术是对数据动态变化过程的一个控制,可以有效的隔绝病毒的入侵,保证数据的安全,因为云计算利用成百上千的计算机及服务器,我们不能保证每一个空间都是绝对安全的,因此相应的隔离技术是必须的。当数据删除之后,如果还存在残留不但占用存储空间,通过一定的技术手段还可以对其进行恢复,这将导致用户信息的泄露,因此,云计算技术发展需要开发一定的残留鉴定并清除功能,使得用户能够放心的使用云计算。
3.3 虚拟技术
虚拟技术是云计算的支撑技术,正是基于虚拟技术的使用才使得用户能够实现数据的存储及运算。在云计算中,用户在实现资源的共享时,一些不法之徒可能利用虚拟技术的漏洞进行文件破坏,这将有损用户的利益,使得云计算处于不安全的地位。因此,虚拟技术需要解决很多的问题,关于虚拟化软件和虚拟化服务器都需要做很多的防护工作,虚拟化层在满足云计算功能的同时,需要不断提高自身的完整性,减少漏洞出现的可能性,即使出现漏洞也要能进行即时的恢复。虚拟技术是云计算可行性的保障,正是虚拟技术才使得广大的资源空间能够实现充分利用,但是虚拟技术也带来了一系列可攻陷的漏洞,因此,解决好可行性与完整性是云计算的关键问题,只有这样才能充分保障信息的安全。
关键词:云计算;云存储;企业应用
中图分类号:TP29 文献标识码:A文章编号:1007-9599 (2011) 06-0000-01
Enterprise Applications Analysis of Cloud Computing and Cloud Storage Technology
Cai Han
(China Shipping,Xiamen361006, China)
Abstract:Cloud computing use the Internet as computing platforms,
will be more widely involving mass data processing tasks.Mass data processing refers to the large-scale data analysed and calculated.In the Internet age,the Internet data statistics and analysis of many is mass data level for corporate data storage,provides an important service.This paper analyzes the application of cloud computing,introduces the types of cloud computing infrastructure,in-depth analysis of the cloud computing and the relationship between the enterprise applications.
Keywords:Cloud computing;Cloud storage;Enterprise application
云计算技术带来了IT技术领域的重大变革。它极大地降低了企业的IT建设及运营维护成本,降低了能源消耗,大大加快了企业信息化建设进程。云计算与互联网的结合也催生了IT商业模式的革命,使得越来越多的公司不再购买和维护软硬件,而是从亚马逊等公司租用计算、存储、网络资源以及IT服务,使得企业实现信息化变得像获取自来水一样方便、廉价。
一、云计算的应用类型
目前流行的几种基于云计算的应用类型。这些应用分为三层或三类,分别是平台或基础设施方面的应用、业务应用和业务服务。基于平台的应用主要集中在为用户提供存储服务(云存储)、计算能力(计算云)、数据库服务(云数据库)。云存储是一种基于网络的数据存储模式,数据被存储在多种虚拟服务器上,通常由第三方的组织来管理,而不是用专门的服务器来管理。数据托管公司运营大型的数据中心,用户通过从公司购买或租用存储空间来存储自己需要托管的数据。数据中心的运营商在后台根据用户的需要虚拟化资源,对用户来说就像在使用虚拟服务器,这样用户可以自己管理自己的数据。而实际上,这些资源或许横跨了很多不同的物理服务器。
二、云计算中的基础设施
云计算中的基础设施可以建立在虚拟化、网格计算或二者结合的基础上。网格计算(或者计算网格的使用)是指多个计算机同时处理一个问题的计算模式,处理的往往是需要大量计算资源、需要访问大量数据的科学或者技术问题。它是一种分布式的计算模式,通过将网络上的、松耦合的计算机联合起来组成一个“超级虚拟计算机”来完成大型计算任务。这项技术已经应用在运算密集的科学、数学和理论问题的运算上,参与运算的计算机是以自愿的形式加入的。在商业机构中也有多种不同的应用,如药物研发、经济预测、地震分析、股票数据处理、电子商务和Web服务。在这种计算模式下,计算任务被拆分为许多小的部分,不同的部分在不同的计算机上同时、独立、并行地进行。因此,对于需要在计算过程中交换中间结果的应用,这种计算模式是不适用的,因为不同的处理器和存储系统很难保证高速的连接。网格可以实现本地、大学内部、区域性和国际性的应用、数据和存储资源的分享及管理。Google的搜索引擎就是以网格计算的形式,通过上千台服务器来处理搜索请求、寻找新的站点、存储文件和管理广告。
三、云计算对企业的影响
云计算模式能极大地降低企业或者学校的信息系统建设的成本。对于他们来讲,通过投资建立计算中心成本较大,并且难以与他们的信息系统的快速成长和服务多元化要求相匹配。具体来讲,云计算为企业带来的便利归纳为以下几个方面。
(一)商业模式和理念的转变。IT公司的商业模式从实体的软件或硬件产品销售转变为相应的软硬件服务的提供。通过云计算,更多的应用能够以互联网服务的方式进行。云计算的先驱者之一谷歌甚至强调未来几乎所有的软件都可以搬上互联网,以服务取代软件。云计算将带动整个商业模式的转变,延伸出新的商业体系,特别是IT企业商业理念也需要转变,当前的软件销售转变为服务销售,将实体变为网络中的相关服务提供给个人用户或企业用户。
(二)提高管理效率、服务水平。利用云计算的商业服务平台提供用户和提供商之问交互的平台,用户不用花精力去开发相应的软件或提供相应平台,只需要付少量的费用就能实现现代化的信息管理,将更多的精力用在企业的实质管理和服务客户,增强了企业的自动化度,能提高企业的管理效率及相应的服务水平。
(三)降低运行维护成本。企业只需定制相应的服务,由云服务商或云端提供需要的基础架构、服务、软硬件资源等,可以节约成本,不用投资购买昂贵的硬件设备,负担频繁的维护与升级,企业不需要建立自己的数据中心、大型机房、服务器中心等并相应减少硬软件的运行维护费用。
(四)提高了资源利用率。云计算模式中多企业共用相应的基础架构,由云计算提供更强的管理机制、自动化部和高层次的虚拟化,将实现网络虚拟环境上的最大化资源共享和协同工作。企业可以自己组建云计算基础设施,也可以按需或按时租赁的方式来完成企业的计算任务、存储、平台服务等,多个企业共享云计算基础设施,在节约成本的同时提高资源的利用率。
四、结束语
云计算是集成了大量资源的高效运行模式,在数据存储与处理中具有极高的应用价值,因而在企业中广泛应用,应用云计算和云存储技术能够改变企业运营模式、提高管理效率、降低系统成本、提高资源的利用效率,对现代企业的信息操作产生了划时代的影响,在企业信息系统的发展中必将起到更重要的作用。
参考文献:
[1]量身定制分层部署.云计算硬件架构解析[J].科技浪潮,2010,4
【关键词】云计算;信息技术教育;Google Docs;应用
【中图分类号】G40-057 【文献标识码】A 【论文编号】1009―8097(2009)08―0064―03
“云”是个大家熟悉的名词,但当它与“计算”相结合,它的含义就演变的泛泛而且虚无缥缈。那么什么是云计算呢?它如何应用在初中信息技术教育中呢?
一 云计算简介
1 什么是云计算
Google全球副总裁大中华区总裁李开复博士这样讲述云计算。“如果你正要打开电脑,在一个文字处理软件中写下未来一周的旅行计划,那么你不妨试一试这样一种全新的文档编辑方式:打开浏览器,进入Google Docs页面,新建文档,编辑内容,然后直接将文档的URL分享给你的朋友――没错,整个旅行计划现在被浓缩成了一个URL,无论你的朋友在哪里,他都可以直接打开浏览器访问URL。无论你分享给多少朋友,他们都可以与你同时编辑、修订那份诱人的旅行计划……如果你喜欢上了这种新颖的编辑体验,那么恭喜你,你正在拥抱一个美丽的网络应用模式――云计算。”
云计算是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格计算(Grid Computing)的新发展,或者说是这些计算机科学概念的商业实现。云计算是分布式计算技术的一种,其最基本的概念,是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序,再交由多部服务器所组成的庞大系统经搜寻、计算分析之后将处理结果回传给用户。透过这项技术,网络服务提供者可以在数秒之内,达成处理数以千万计甚至亿计的信息,达到和“超级计算机”同样强大效能的网络服务。[1]云计算技术允许人们随时随地从任意终端访问信息、技术及其它服务。来自全球的任何一个用户只需一部简单的接入设备即可通过互联网在本地获取这种服务,实现低配置设备享受高性能计算服务。它可提供一种转变基础设施的途径,从而能够满足互联世界的需求,最终改变人们获取信息、分享内容和互相沟通的方式。
2 云计算的特点
(1) 数据海量存储可靠安全
云计算提供了最可靠、最安全的数据存储中心,用户不必担心电脑上数据丢失、病毒侵入等麻烦,只要把文档保存在类似Google Docs的网络服务上,把照片上传到类似Google Picasa的网络相册里,有全世界最专业的团队来帮你管理信息,有全世界最先进的数据中心来帮你保存数据。而且可以海量存储数据,不必担心存储空间不够。
(2) 对用户端设备要求低
比尔•盖茨在一次演讲中称,有了云计算,个人用户的内存只需640K足矣。 云计算只要你有一台可以上网的电脑,有一个喜欢的浏览器,然后在浏览器中键入URL,就可以享受到云计算带给你的无限乐趣。再也不用担心你的硬件设备是否陈旧、软件是否是最新版本的问题。
(3) 信息共享
共享即分享。在云计算的网络应用模式中,数据只有一份,保存在“云”的另一端,你的所有电子设备只需要连接互联网,就可以同时访问和使用同一份数据。同时启用云计算服务提供的共享机制还能轻松把文档与其他人协作共享。以Google Docs为例,你可以把未完成的写作带回家,也可以与伙伴一起协同完成文档,并同其他伙伴分享。
(4) 强大的计算能力
云计算为网络应用提供了强大的计算能力,可以为普通用户提供每秒10万亿次的运算能力,完成用户的各种业务要求。这种超级运算能力在普通计算环境下是难以达到。《纽约时报》租用Amazon的云计算服务,使用基于云计算的开源软件Hadoop,将其自1851年以来的1100万份报道转变成可搜索的数字化PDF文档,耗时仅一天。如果用传统方法,这项工作可能要数月才能完成。
(5) 极其廉价
由于“云”的特殊容错措施可以采用极其廉价的节点来构成云,“云”的自动化集中式管理使大量企业无需负担日益高昂的数据中心管理成本,“云”的通用性使资源的利用率较之传统系统大幅提升,因此用户可以充分享受“云”的低成本优势,经常只要花费几百美元、几天时间就能完成以前需要数万美元、数月时间才能完成的任务。
二 云计算在初中信息技术教育中的应用及意义
1 云计算与初中信息技术教育
在目前初中信息技术教育中,学生学习计算机的兴趣浓厚、热情高,但是计算机基础知识不扎实,运用电脑能力差,缺乏一定的探索研究能力。普遍存在的问题就是硬件档次低、更新慢。硬件设施的投入对于整个学校来说是一笔不小的开支,所以很多学校往往投入一次以后,就很少花钱来更新机器设备,由此导致很多信息技术活动不能开展。再加上大部分学生对目前的信息技术教材不感兴趣,信息技术这门课程并未涉及到升学问题,因此大多数学生并不重视,观念认识不到位,很大一部分学生认为信息技术课就是玩,就是上网聊天打游戏。虽然有的学生已经意识到开设信息技术课是为了利用网络来解决平常生活和学习中碰到的问题,但是他们不知从何入手。
有了云计算,我们可以从新的角度来思考信息技术教育。云计算的特点使其比其他新技术更容易进入教育领域,云计算的特点也决定了它在信息技术教育上将大受欢迎。对用户设备要求低这一特点可以解决初中学校硬件档次低、更新慢的问题。云计算的共享性协作性可以提高学生的学习兴趣,培养学生的探索研究能力,能解决现有教材中存在的一些问题。云计算能大大减少学校为维护和升级操作系统和应用软件投入的费用。
2 Google Docs在信息技术教育中的具体应用
Google公司的Google Docs产品就是一个典型的云计算产品,Google Docs是类似于微软Office的一套在线办公软件,它可以处理和搜索文档、表格、幻灯片。[2] Google Docs最大的特点是协作共享,Google Docs的协作允许不同位置的多个用户对同一个项目同时进行编辑和查看,它的共享机制使“分享”变得更容易。Google Docs不仅具有云计算的特点,还具有以下两个特点:
Google Docs具有离线功能,在电脑不能上网的情况下,也可以进行文档的编辑,一旦系统检测到网络,Google Docs会自动将文档上的内容上传保存。现在的中小学校,硬件设施不好,时常断网,有了Google Docs的离线功能,学生在断网的情况下,也能进行文档的编辑。给学生带来了很大的方便,为学生创建灵活敏捷的学习方式,有助于提高学习效果。
(2) 海量存储文档,查找方便
为了机房的维护,一般的学生电脑都装有还原卡,出故障重启或者下一次上课时往往找不到以前的资料。有了Google Docs,学生可以把上课的文档保存到Google Docs,下次上课时不必为要重做文档而担心。Google Docs提供了搜索文档功能,学生可以通过文档名称、编辑时间、共享者很方便的找到自己需要的文档。不用担心文件多,找不到所需文档的问题。
本文为全文原貌 未安装PDF浏览器用户请先下载安装 原版全文
基于Google Docs的特点,Google Docs在初中信息技术教育中的应用设计如下:
(1) 帮助学生分组
由于不同学生的信息技术基础存在一定的差异,根据异质分组原则,5~6个同学一组,每组选定一个组长。向学生展示评价标准,每个小组以老师给定的主题为依据选择一个感兴趣的主题,再根据主题和评价标准以Google Docs为平台制作一份文档,组长要明确每位组员在协作中需要完成的任务,最后以小组的形式进行汇报。
(2)创建Google账户
打开网页(省略/accounts/NewAccount),只需输入当前电子邮件,密码,再通过邮件进行账户创建确认,就可以轻松完成账户的创建。创建账户界面如图1所示:
(3) 登录Google,开始文档的编辑
通过docs.省略进入Google Docs编辑界面。每组根据选择的主题在Google Docs上创建新文档,也可以从本机上上传文档。Google Docs简单易学,学生很容易入门。
(4) 引导学生进行网上协作编辑文档
Google Docs文档可以同时有10个人编辑一个在线文档,可以与200个人共享一个在线文档,足以满足初中信息技术课堂的需要。通过共享功能邀请同组同学一起进行文档的编辑,为同学设置权限,可以设置为查看者或者协作者,设置界面如图2所示。
学生协作完成教师布置的任务,这比以前学生孤军奋战的学习更有效率。2007年,国际教育技术协会(ISTE)为学生制定的国际教育技术标准 (NETS) 和行为准则中将交流与协作(Communication and Collaboration)排在第二位[3],可以看出在教学中培养学生交流与协作能力的重要性。学生在协作学习中,相互探讨、相互学习、相互了解、增加同学之间的人际交往,更能激发学生的创造力,有效提高学习效率。
(5) 作品。在Google Docs中,“”使用户可以向全世界提供在线文档。了文档,其他学生通过URL就能访问在线文档。
(6) 评价作品。各个小组汇报自己的作品,进行自我评价、同学评价和教师评价。使学生在评价中及时体验到学习信息技术的乐趣,使同学之间能相互学习,在欣赏同学作品的同时,知道自己作品的不足,以便下次改进。
未来的人才除了具备基本素质外,还要具备使用信息、应用信息进行创新的能力。运用Google Docs云产品创设教学情境,能引发学生的学习兴趣,激发学生的学习动机,保持学生学习的主观能动性。协作式的学习方法,学生协作的过程就是探索创新的过程,这种方式有利于学生能力的锻炼,更有利于培养学生的创新能力。
三 总结
针对实际工作中政务应用需求与信息资源无法合理配置的现实问题,提出基于云计算的新型数据中心的技术设想,并对其基础平台进行设计,实现对计算、网络、存储、安全的统一整合、按需分配,提高了设备资源使用效率,减少了硬件投资规模,为业务工作开展提供灵活扩展和安全稳定的应用支撑平台。
【关键词】云计算 政务应用数据中心 基础平台 设计
近年来,云计算等信息技术服务新模式、新业态的迅猛发展,虚拟化等技术在数据中心建设中应用更加深入。云计算是分布式技术和网络技术融合发展的产物,这种模式不通过本地计算机或远程服务器,而是在大量分布式部署的计算机上实现计算,这使得数据中心服务与互联网极为相似。
从架构的角度来看,云计算通过一种更合理更有效的手段实现了资源调度,这种调度方式是面向业务需求的服务方式,而非传统的面向复杂多样的物理设施。这种方式对于解决实际工作中存在的政务应用需求与信息基础设施无法合理配置的现实问题,具有很好的借鉴意义和应用前景。在云计算架构中交互服务层是基于服务调用的关键环节,而数据中心基础平台就是交互服务层的具体实现,他是底层的物理设备通过智能服务功能,使得其上的业务层面看不到底层复杂的结构,不用担心资源的物理调度,从而最大化实现资源的共享、复用和合理调度。本文中我们将利用现有成熟的云计算、虚拟化技术,结合工作实践,提出新一代政务应用数据中心基础平台的设计方案。
1 传统政务应用数据中心存在的问题
随着信息化技术在各行业领域的深入应用,各地区各部门对于政务信息化逐步重视,投入逐步加大,随着政务信息化的深入推进,大量应用系统上线运行,这些系统都需要服务器、存储、网络及机房等硬件基础设施的支撑,传统的硬件设备统一托管、维护的数据中心应运而生。而这种以传统模式建设的数据中心存在以下问题:
1.1 资源利用率低下,业务需求增加迅速
为保证政务业务系统的可用性,系统设计中均按照业务繁忙期的峰值来采购服务器及相关设备,各业务系统繁忙期又不尽相同,因此大部分时间大量服务器的资源利用率均在10%以下,大部分计算、存储资源没有得到有效利用。与此同时,随着业务的推进、数据大集中等需求,计算及存储的需求增长迅速,若闲置资源无法利用,又需要通过新增设备方式满足,从而造成投入增加、资金浪费。
1.2 运维成本高,管理日益复杂
传统数据中心的运维方式繁琐复杂,现有服务器出现问题时,运维人员往往要先重新安装操作系统,接着还要安装程序服务软件,最后再测试运行。这些步骤往往不是一、两个运维人员就可以解决的,过程持续数天,时间成本和人员投入较大,管理不便。
1.3 扩展性、业务灵活性差
传统数据中心的一个服务器系统中往往杂糅运行数个甚至数十个政务应用系统,各个应用系统之间存在相同中间件应用时调配起来混乱,不能灵活的相互调整资源或者灵活的相互切换。
1.4 系统分散、安全性可用性差
政务系统之间相互独立,不能进行统一的管控,各自需要的安全配置无法在一个服务器上实现,导致无法确保应用系统的病毒防护网络安全。
2 新一代数据中心基础平台的设计
2.1 设计思路
新的政务数据中心采用云计算的设计思想,通过使用虚拟化技术将数据中心按照“池”的概念重新设计,并将这些“资源池”进行整合,采用该设计思路可以实现资源动态调整,提高数据中心的灵活性。
2.2 结构
目前云计算数据中心资源池主要分为计算资源池、存储资源池和网络资源池,同时也包括软件和数据等内容资源池。在服务提供方面主要以计算资源、存储资源提供为主,如为业务信息系统分配虚拟服务器、有储空间,提供应用服务器、数据库管理系统等应用系统运行环境。
按照政务工作实际,我们将云数据中心基础平台划分为四个资源池,分别为计算资源池、网络资源池、储存资源池和安全资源池。
2.2.1 计算资源池
计算资源池是基础平台中最核心的部分,从硬件上来看,日常接触的机架刀片式服务器均可作为计算资源池的一部分,软件上,核心则是云操作系统。目前常用的有Vmware公司的Vsphere和浪潮公司的Xen系列产品等,Vsphere专门为工作负载不足20台服务器的it环境设计,且系统技术比较成熟,目前使用该系统较为合适。
虚拟化软件中的HA和Vmotion技术可以确保应用的高可用性,避免异常开关机造成的影响。
Vmotion可以使运行中的虚拟机从一台物理服务器实时迁移到另一台物理服务器,它实现了零停机时间和连续可用的服务,并能全面保证事务的完整性。Vmotion是一种用户创建动态、自动化、自我优化的数据中心的关键促成技术。如图1所示。
2.2.2 网络资源池
网络资源池的主要作用是将SAN、LAN、Infiniband等整合为一个统一的网络架构,以降低网络配置的复杂性和成本,并从技术上带来高带宽、低延迟和可管理性。
2.2.3 储存资源池
储存资源池本质上是一个可支持基于文件或数据块的NAS网络附加储存的网络化储存架构,这些多协议系统将通过串口甚至是光纤网络接入服务器。
在云计算平台的存储中,磁盘数据的读写速度是一个更重要的问题,因此需要对多个磁盘进行同时读写.这种方式要求将数据分配到多个节点的多个磁盘当中。为达到这一目的,存储技术有两个选择,一个是使用类似于Google File System的集群文件系统,另一个是基于块设备的存储区域网络SAN系统。
统一储存系统的使用可以提高储存设备的利用率并增强储存资源池的灵活性。
2.2.4 安全资源池
新一代的数据中心对安全问题更为关注,新数据中心在设计时就对整个虚拟化的软硬件进行统一考虑,在确保信息不泄密不损失的同时也保证数据的不被破坏。杀毒软件通过统一的配置保证系统不被攻击,通过远程数据备份方案保证数据永不丢失。如图2所示。
2.3 资源池的组合
如图3所示。
3 应用效果与未来展望
新一代数据中心与传统数据中心相比有如下显著进步:
3.1 可用性和灵活性大幅度增强
经过比较,采用传统数据中心新增一台服务器所用时间要经过1-3周,使用新的数据中心则将时间缩短至5分钟,管理员仅仅通过登陆后台管理界面进行虚拟机的分发即可实现。
3.2 运维复杂度大大降低
我们对比了两种数据中心上为某一政务应用添加内存的速度,在新的数据中心上,管理员一人在后台管理中用数分钟即可实现内存的扩充。
关键词:“通识课”云平台; 计算机应用基础; 数字化
中图分类号:G642.4 文献标识码:A 文章编号:1006-3315(20156)030-140-002
教育部办公厅关于印发《2014年教育信息化工作要点》的通知中提出“加快网络学习空间普及和应用”和“大力推进职业教育优质数字教育资源开发与应用”等有关网络课程及资源数字化的重点工作。全国上下兴起了新一轮的网络在线学习研究和开发的浪潮,比如微课、慕课、翻转课堂等网络教学模式已经引起了全国高等院校的重视。2014年我们学校引进了文华在线的“通识课”网络教学平台,作为通识课程数字化建设的网络平台,加快推进学院课程数字化建设的进程。《计算机应用基础》课程作为一门操作性强,与计算机、网络关系密切的通识课,必须走在数字化的前沿,为学生的泛在式学习、碎片化学习、个性化学习提供最优的资源。
一、“通识课”云平台的特点与功能
“通识课”云平台是人民网旗下子公司文华在线研发的一款基于云服务的教学平台,其具有互动教材、教学云平台和混合式学习三大特点。
“通识课”云平台首创“互动式教材”开发方法及关联工具,打破多媒体课件与电子教科书开发边界,帮助合作方快速地实现内容的数字化;面向学生、教师、管理者“3种角色”;覆盖“教、学、管、考、评、研”6大环节;“0成本”即时开通院校专属域名的SAAS化教学云平台;以通识课云平台为支撑,配套互动教材定制服务,联合北京大学教育技术专家资源,提供与数字资源、教学平台相结合的实时服务,打造院校混合式教学方案(Blended learning)。
作为用户,可以省去搭建服务器等硬件设备和购买网络学习平台等软件的资金投入,也不用配置相关网络维护人员,文华在线公司还可以协助用户数字资源的建设与开发。
二、课程总体结构设计
《计算机应用基础》课程结合“通识课”云平台的特点,我们只考虑课程导读、课程内容两个主体部分的数字化建设,其余的讨论、作业、考试、公告、进度、教学计划等功能系统已经为用户提供,课程后并可以使用。下面主要介绍课程导读和课程内容的建设。
课程导读包括教师个人信息、课程简介、课程目标、考核办法、学习方法和课堂管理等六个部分;课程内容包括计算机基础知识、Win7操作系统应用、计算机网络应用、Word2010应用、Excel2010应用、PowerPoint2010应用等六个模块。每个课程内容模块都包含着若干个教学案例,每个教学案例包括案例展示、授课微视频、资源下载等内容,这样就形成了章、节、页的三层结构。课程结构设计如图1所示。
三、云平台课程搭建
课程管理教师登录“通识课”平台后,首先是添加课程,选择“课程”页,单击“添加课程”按钮,填写《计算机应用基础》课程相关的信息后完成课程的添加,其中“支持终端”选项可以同时勾选“PC”和“Android”,学生可以在电脑和手机端学习课程。
接下来是建立课程的“章”,单击“+添加章”按钮填写章名便可完成,如果章内所有内容已经完成,并是系统支持的“SCORM课件包”,就可以通过“+上传课件”按钮来上传到平台,或者通过平台下载“ imsmanifest.xml 模板”来完成课件包的制作。如果不通过课件上传的方式来完成,我还可以通过添加“节”和编辑“页”来完成。如图2所示。
再接下来选择要添加“节”的“章”,单击“+添加节”按钮,填写“节”的信息后按“确定”按钮便完成了设置,如图3所示。最后是对“页”进行详细的编辑,选择需要添加“页”的“节”,单击“+添加页面”按钮,填写页面信息后按“确定”按钮完成“页”名称的建立,单击建立的“页”名称进入页面编辑,云平台提供了文本、图片、音频、视频、Flash及HTML等多媒体的插件,基本满足现阶段数字化平台的需求,页面编辑功能按钮如图4所示。
四、网络课程的
课程建设整体完成后,通过单击“预览课程”按钮可以预览课程后的真实效果,对课程较满意后,先通过“编辑成员”处的“点击选择”来设置需要此课程的教学团队,然后便可以通过单击“课程”,打开向导来完成课程的。
向导第一步确认先前设置的课程属性;第二步是确认课程菜单,主要是对学生界面显示的菜单进行控制,默认有“课程内容”、“进度成绩”和“讨论区”三个菜单,(下转第156页)
(上接第140页)也可以通过“+添加自定义菜单”来添加新的菜单项;第三步是确认目录和试听章节,主要是设置学生在选择学习本课程前可以试听的章节内容,通过对章节内容的勾选,便可以完成设置;最后按“下一步”按钮完成课程的。课程成功后课群组教师就可以通过平台添加自己的班级,学生可以通过平台加入相应班级进行课程学习。后的课程如果做了修订,无需撤回课程,只要单击“更新课程”按钮就可以完成课程的更新。
五、结束语
通过“通识课”云平台的《计算机应用基础》网络课程的建设,给了我们很多体会。一是网络课程首先需要一个优秀的网络平台,如果你有数字资源,可以通过它很轻松的搭建自己的网络课程,如果还没有数字资源,你可以通过它的框架快速实现自己的网络课程。二是课程数字化的前期工作可能会增加了我们的工作量,但长远看绝对是一项一劳永逸的工作,对于教学工作的积淀,教科研工作的促进等方面都是有所帮助。三是随着信息化社会的到来,我们的教育教学的方法、手段一定要跟得上时代,要适应学生的学习方式和学习习惯,让学生的学习可以做到随时随地,随想随学,随心所欲。
基金项目:2013年高等教育课堂教学改革(浙教办高教[2013]109号)编号kg2013929
参考文献:
[1]荆春燕,杨金凤,毛可进等.基于Blackboard平台消费者行为学网络课程建设[J]中国教育信息化・高教职教,2011,(3):77-79.DOI:10.3969/j.issn.1673-8454.2011.03.026
[2]王魏根,姜双林,张改改等.基于Blackboard平台的公共选修课网络课程建设[J]中国教育信息化:高教职教,2012,(3):72-73.DOI:10.3969/j.issn.1673-8454.2012.03.026
【关键词】电力大数据;关键技术;智能电网
1、电力大数据平台总体架构
电力大数据平台总体架构如图1所示,此架构具备一定通用性,适合规划电力企业的大数据。此架构的存储框架是以Hadoop文件系统为基础的分布式文件处理系统,处理框架是以Map Reduce为基础的分布式计算技术。分别以分布式文件处理技术和计算技术为基础,使PB和ZB级的数据存储和查询分析成为可能。此外,此框架还包括传统的数据仓库、大数据调度框架、网络层、操作系统以及数据备份与恢复等模块。
电力大数据平台总体架构应该和电力系统里来源广泛的数据流结合,催生实际的产业应用。电力系统作为复杂的高维非线性系统,内部包括信息流、气象流、电力流等多种数据流向。图2是以电力系统总体平台架构为基础的电力企业商业应用和电力系统内部数据流的可能结合点,包含发电、输电、变电、配电、用电等多个环节的负荷控制系统、电能计量系统、管理信息系统、风电光伏功率预测系统、监测控制及数据采集系统等。
2、智能电网运用中的电力大数据关键技术
2.1集成管理技术
电力企业数据集成管理技术就是将两个及其以上的应用系统数据合并起来,创建出功能更多的企业应用。就集成角度而言,就是在存储介质或是逻辑上将各种来源、性质、特点以及格式的数据集中起来,为系统存储各种面向集成的、主题的、较为稳定的以及能呈现历史变化的数据集合,确保系统数据共享的全面性。
电力大数据集成管理技术包括数据抽取技术、关系型及非关系型数据库技术、数据过滤及清洗技术等多种技术。多样性是大数据的显著特点之一,这就决定了其数据来源的广泛性和数据类型的复杂性,也给大数据的处理带来了很大挑战。要处理好大数据,首先就要抽取并集成数据源数据,从中罗列出实体与关系,经过关联与聚合处理后再用统一结构保存这些数据。在集成与提取数据时要做清洗处理,确保数据的质量和可靠性。
2.2数据分析技术
大数据技术的根本驱动力就是实现信号到数据的转换,先把数据转化成信息,再把信息转化成知识,通过知识实现决策与行动。利用电力大数据分析技术可在海量电力系统数据中找出隐藏的规律和模态,给决策人员提供支撑。相较于传统逻辑推理研究,大数据研究是对海量数据进行统计性的搜索、比较、分类等处理,所以延续了统计科学的某些特点,如统计学关注的数据关联性或是相关性(相关性即指两个及其以上变量的取值间存在一定规律性)。做相关性分析主要是为了找出数据集里潜在的关系网,通常用可信度、支持度等参数进行反映。
就根本来说,电力大数据分析技术是传统数据挖掘技术在大量数据挖掘下的新发展。但因为大数据具有量大、增长快、种类多的特点,除了包括结构化数据还包括半结构化数据与非结构化数据,所以很多传统的数据挖掘方式已经不能满足需求。大数据环境下的数据挖掘和机器学习算法可从以下三点入手:一是从大数据治理、抽样及特征选择着手,把大数据转变为小数据;二是实施大数据下的分类算法、聚类算法研究;三是实施大数据并行算法,把传统数据挖掘方式做并行化处理后再运用到大数据知识挖掘中。
2.3数据处理技术
电力大数据的数据处理技术主要有三种,即分布式计算技术、内存计算技术和流处理技术。其中,分布式计算技术主要负责大规模数据的分布式保存和处理;内存计算技术主要负责高效读取数据以及处理在线的实时计算;流处理技术主要负责对实施到达以及规模与速度不受控制的数据进行处理。
分布式计算技术属于新的计算方式,主要研究怎样把需要强大计算能力解决的问题分解成多个小块,再将小块分配给多个计算机进行处理,最后综合处理结果即为最终结果。分布式计算技术的典型代表就是谷歌公司推出的Map Reduce编程模型。此模型先分解需要处理的数据,将其分配给多个Map任务区进行处理,然后根据键值保存到本地硬盘,接着在用Reduce任务根据键值汇总结果,最后输出最终结果。分布式计算技术适合在电力系统中采集大规模分散数据源时使用。
内存计算技术就是把所有数据都放在内层里操作,此技术解决了对磁盘读写操作时耗时量大的问题,计算速度也得到大幅度提升。内存计算技术的迅速发展与广泛运用得益于大数据浪潮的来临以及内存价格的降低。EMC、SAT以及甲骨文都相继推出了内存计算解决方法,把以往客户需要以天作为时间计算单位的业务缩减至以秒作为时间计算单位,有效解决了大数据知识挖掘以及实时分析的问题。
流处理技术就是把海量的数据组看作是流,当新数据出现时就即可处理然后返回结果。流处理技术的根本理念就是随着时间流逝数据价值会逐渐减少,所以要尽快处理新数据,得出结果。流处理技术的运用场景主要是金融里的高频交易、网页点击里的实时统计等。随着电力事业的不断发展,电力系统数据快速增长的同时对数据的实时性标准也逐渐提升,在电力系统中运用流处理技术能给决策者提供实时依据,满足数据的实时在线分析要求。
2.4数据展现技术
电力大数据数据展现技术主要包含3种,即可视化技术、空间信息流展示技术以及历史流展示技术。这3种技术从不同层面对电力大数据的数据展现技术作了诠释。利用数据展现技术可以帮助管理者更直接准确地理解电力系统数据要表达的含义,更全面地掌握电力系统的运行情况。
可视化技术主要在电网状态实时监控中运用较多,能有效提升电力系统的自动化运行水平。未来,可视化技术还可以与复杂网络环境里的有关理论相结合,并在电网自动布点、自动分层、自动分区等方面做进一步研究,更深入挖掘电网的联系与规律。
空间信息流展示技术包括变电站三维展示技术、虚拟现实技术等,主要应用在电网参数和已有地理信息系统的结合上。有机结合电力配电设备管理和地理信息系统,能帮助管理者更清晰的掌握设备情况,为决策提供及时、有效的地理信息。空间信息流展示技术可在变电站工程设计中使用,能有效节省资源、时间和成本,给电力企业创造高效益。
历史流展示技术主要在管理和展示电网历史数据中体现。在电力系统里通常都是以历史数据为基础进行深入应用分析。利用历史流展示技术,可根据生产现场实时监测数据以及电网规划、负荷预测数据绘制出相应的数据发展趋势图和走势图,还能模拟重大历史事件的发生和演变过程,更全面挖掘历史事件隐藏的规律和知识。
3、结语
综上所述,在提倡发展低碳经济以及信息网络技术迅猛发展的今天,智能电网的建设是必然趋势。在智能电网运用中的电力大数据关键技术主要包括集成管理技术、数据分析技术、数据处理技术和数据展现技术四种。本文重点对这四种技术进行了分析,得出四种关键技术均在智能电网中发挥了重要作用,实现了电网里海量数据的及时采集、分类、比较和处理。不可否认,电力大数据的四种关键技术有效弥补了传统数据处理方式的不足,提升了电网数据的处理质量和效率,为电力企业节省更多成本、创造更高效益,同时也有效提升电力企业的管理水平。
参考文献
云计算技术具有高效、可靠、高可扩展性和易用性的特征,被很多领域广泛的使用。本文讨论的内容是如何将云计算技术应用到就业大数据信息服务平台中,从而高效率、高质量的做好就业服务工作。
Hadoop是由 Apache 开源组织提供的分布式系统基础框架,能够有效的解决海量数据分布存储和分布计算,是云计算技术应用层面很好的解决方案。
一、高校就业大数据信息系统现状
目前,各高校均建设了高校内部的毕业生就业大数据信息平台,一定程度上满足了毕业生就业服务的需要。但是这些系统存在以下几方面问题:第一,系统侧重毕业生和就业信息管理,或者只是学生管理信息系统的一部分,缺乏服务机制,无法实现学生、教师和用人单位的联动。第二,系统资源利用率低,系统运行效率低、安全可靠性和可扩展性差,给学生数据安全带来很大的隐患。第三,系统数据利用率低,多数集中在简单的查询,很难获得有益的知识,提供决策服务。第四,系统缺乏个性化定制,很难适应当前就业工作不断调整的需要。
随着高校、毕业生和企业对就业服务的要求提高,现有的就业信息平台已经不能适应就业工作多元化的增长和发展的需要,影响高校毕业生的就业效果,新型的就业大数据信息平台的建设已成为破解就业工作难题的必要条件之一。
二、构建基于云计算的高校就业大数据信息服务平台
云计算因其强大的计算和数据储存的能力、可靠、安全的共享数据存储中心、客户端的设备配置没有限制等特点已广泛应用各行各业,并日益发展成熟。通过云计算技术建设毕业生就业信息平台,整合和共享就业信息资源,为毕业生就业提供方便、快捷、高效的信息服务平台,破解现有就业信息平台存在的问题。
从研究现状来看,云计算具有以下一特点:
一是强大的计算和数据储存的能力。“云”能赋予用户完成各类应用前所未有的计算能力,为用户储存和管理数据提供几乎无限多的空间。服务器的日常维护也有云服务提供商来进行。
二是最可靠、最安全的共享数据存储中心。通过云存储,数据复制到多台物理机器,避免因硬件崩溃或误操作删除的造成的数据的丢失或损坏。
三是客户端的设备配置没有限制。用户在随时随地方便、快捷、安全的使用位于不同计算机、不同的操作系统的应用服务,从“云”中获取个人的需求。
2.1 构建高校就业云服务平台
根据提供服务资源的类型,云服务被分为三个类别:SaaS(软件即服务)、PaaS(平台即服务)、IaaS(基础设施即服务)。
高校就业大数据信息云服务平台采用 SaaS 模式,通过浏览器和移动终端将软件作为云服务提供给所需用户。用户无需购买软件和维护软件,用户根据业务需求购买相应的云服务,云服务提供商管理相关软件并实施软件的维护。这种方式大大降低用户在软件购买和维护上人力和物力的开支。高校就业信息云服务平台自底向上分别是“云数据层”、“数据服务层”、“业务服务层”、“云服务层”和“应用层”,每层之间采用松耦合,提供相互访问的接口,用户不必关注层内部逻辑。
(1) 数据存储层
高校信息服务平台的数据主要包含学生数据、用人单位数据和高校相关数据,数据是作为平台的基础。为了提供便捷、高效、可靠的数据访问,数据存储层采用云存储技术实现。
(2) 数据服务层
数据服务层建立专门进行云数据层访问的接口程序,用户通过 webservice 或者 API 进行加密数据的访问,数据的具体存储对用户是透明的,这也有效的提高数据安全性,并且为数据的扩展提供基础。
(3) 业务管理层
业务服务层包括高校信息服务平台所有业务,具体包括应聘招聘、就业指导、毕业生困难帮扶、创业等服务内容,这些业务服务于政府、用人单位、高校、学生和社会等不用的用户。由于就业工作随着时间的推移会受到就业形势、政策等很多因素影响,从而导致就业工作业务和用户发生不断变化,所以就业信息服务平台业务服务层要具备高扩展性。基于以上的要求,我们构建了业务服务控制台,业务服务被设计为可插拔式,每项业务可以被挂载在控制台,或者从控制台被卸载,也可以设定业务接口、执行业务升级操作等服务。
(4) 云服务层
云服务层将业务服务层的内容以应用接口的方式提供给应用层,提供的方式是为业务服务层建立 API 接口和webservice 接口。应用层可以通过编程的方式调用业务接口,实现业务访问。
设定中文信息处理和语音识别接口,用户可以通过输入中文关键字或者语音调用业务,在应用层和业务层之间建立更加友好的数据传送,也为移动终端用户提供更加便捷的操作方式。
(5) 应用层
应用层直接面向实际用户,实现就业信息云服务平台不同类型的用户图形界面,从而能够适应不同用户的不同需求。用户既可以通过个人电脑上的浏览器访问获得云服务、也可以使用智能移动终端的应用程序或者微问云服务。
2.2 建立基于 Hadoop 的云数据存储
高校就业大数据信息服务平台需要大量的数据进行支持,而且数据逐年增加。利用云存储技术主要解决快速、高效的处理海量数据,从而达到易扩展、低成本、易管理、高效和安全的设计原则。 Hadoop 软件框架的HDFS(分布式文件系统)提供了具备高扩展性、高容错性、高可靠性、高效等特点,并且可以部署在低廉的硬件上,从而降低成本。基于以上内容,高校就业服务平台的数据存储通过 HDFS 分布式存储技术实现云存储,Hadoop 的具体部署
2.3 建立基于 Hadoop 的数据服务
数据服务是就业大数据信息云服务平台重要的业务,用户需要了解学生年龄、学历等数据分布,需要了解就业数据分布,需要了解用人单位人才需求分布,需要了解就业数据内部和外部存在的各种联系。数据服务从海量数据的计算中获得,利用云计算技术能够高效、低成本的解决计算问题,Hadoop 为云计算提供了有效的解决方案,它提供了MapReduce 模型,这个模型解决了传统并行计算在易编程性上的瓶颈,程序员可以更容易的开发分布式并行计算程序。MapReduce 同 HDFS 一样采用一个主控节点和多个计算节点的架构。
将大规模数据集分成多个小数据集,然后这些数据集分o多个 map 节点进行并行处理产生中间结果,最后在 reduce阶段对这些结果汇总,得到最终结果。