时间：2023-05-17 16:11:14
序论：在您撰写大数据开发的过程时，参考他人的优秀作品可以开阔视野，小编为您整理的7篇范文，希望这些建议能够激发您的创作热情，引导您走向新的创作高度。
信息技术作为时代不断发展的象征，不管是在我国行业的发展中，还是在人们的日常生活，都起到了重要作用。同时，在信息技术不断发展的过程中，大数据时代的应用范围也在不断的扩大，其来源渠道也非常多，数量也在不断增加。在这种情况下，大数据时代的大数据信息管理就显的尤为重要。由于大数据的数量不断增加，现有的管理形式已经无法满足大数据时代的发展，并且在利用计算机对大数据进行全面分析和处理的过程中，也受到了严重的影响，因此，要想有效的对大数据进行充分利用，就要对大数据管理形式给予高度重视，采取有效的措施，不断加强大数据的管理形式，最终实现有效、便捷、安全等管理性能，这也为对我国信息技术提供了重要的发展方向。
1 大数据时代的大数据管理发展历程
近几年，在大数据管理不断发展的过程中，也取得了一定的成绩。但是，大数据管理也经历了一个漫长的过程，主要经历的人工、文件、数据库等管理阶段。同时，随着大数据时代的大数据不断增加，所管理的范围和环境也在不断的变化。并且，在大数据管理不断发展的过程中，一些管理问题逐渐的暴露出来，为大数据管理的发展带来了新的挑战和机遇，下面就大数据管理的发展历程，管理中存在的不足进行简要的分析和阐述。
1.1 大数据时代的大数据人工管理形式
在20世纪50年代，计算机技术的形成主要是针对科学计算等形式。同时，根据当时的发展技术来说，并没有磁盘、U盘等一些先进设备，将其计算的结果进行去全面的保存和整理，仅仅只是依靠纸带、卡片等形式，对大数据的进行有效的记录。大数据时代的大数据管理的人员管理形式，不仅仅对大数据的记录存在着一定程度上的误差，并且在保存的过程中，也会经常发生丢失的现象，对大数据时代的大数据管理形式的发展，是没有任何的帮助。但是，依照当时的技术水平来看，也只能的依靠人工管理的形式了。
1.2 大数据时代的大数据的文件管理形式
在大数据时代的大数据管理的人员管理形式，不断发展和改革的过程中，计算机的软件和硬件都得到了有效的提高，磁盘、磁鼓等储存软件，得到了全面的普及和发展。同时，在在不断发展的过程中，计算机将大数据的组成形式，叫做大数据文件，并且在大数据文件上就可以直接的取名字，直接的进行查看，这对大数据的管理，无疑不是一个新的发展的起点。在大数据时代的大数据文件管理的过程中，由于大数据长期的保存在外面的，这样在对的大数据处理、分析、查找、删除、修改等操作的过程中，提供了极大程度上的便利，其对其操作的程序，也具有特点的要求。但是，在文件管理的过程中，由于共享性能较大，数据与数据之间缺乏一定的独立性，对其管理和维护的费用和时间较大，这样往往工作效率提高，不能被广泛的使用。
1.3 大数据时代的大数据库管理形式
数据库管理形式是大数据管理不断发展的重要成果，也是到目前为止最后的一个阶段。在计算机技术不断发展的过程中，计算机内部的容量得到了很大程度的提高，并且大数据的管理和维护成本也相应的有所下降。同时，在大数据管理形式不断发展的过程中，对其系统管理内存不足等现象，进行了全面的提高，有效的实现了资源共享，也在最大程度上保证了大数据的安全、稳定等性能。另外，在大数据时代的大数据库管理的过程中，不在近几年只是固定在某一个计算技术应用体系，而是面向整个管理体系，以此在最大程度上提高了大数据共享的性能，使大数据与大数据形成一个独立的个体，对其大数据进行了全面、有效的、统一的管理，为我国信息技术的发展提供了重要方向。
2 大数据时代的大数据管理策略
2.1 对大数据时代的大数据管理框架进行创新
在大数据时代的大数据管理形式不断发展过程中，给企业发展带来冲击非常巨大。因此，企业要根据我国信息技术不断发展的形式，对大数据管理框架进行全面的设计和创新，如图1所示。在大数据的处理的过程中，主要是围绕着数据资产进行管理的，同时对大数据时代的大数据管理制度，进行全面的规划行、设计、创新，这样对其它信息技术管理领域，提供了便利的条件。其实，大数据时代的大数据管理最主要的目的，就是将大数据的价值进行充分的展现。另外，在大数据时代的大数据管理框架不断创新的过程中，有效的实现了大数据共享等性能，不断扩大了大数据时代的大数据管理的内容，对我国现代化信息技术的发展，起到了重要的作用和意义。
2.2 开发与内容的管理形式
在不断提高大数据时代的大数据管理形式的过程中，可以从两个方面进行，一是大数据开发管理，二是内容管理。其中大数据开发管理注重于大数据管理的定义，和管理解决策略，对其大数据的存在价值，进行有效的开发。换句话说，其实也就是在大数据时代的大数据管理的过程中，对其管理形式的开发，对大数据的功能和价值，进行充分的理解。
大数据时代的大数据管理中的内容管理是指：企业对大数据进行不断的获取、使用、存储、维护等工作活动。因此，传统的大数据时代的大数据管理形式，已经无法满足对这个时展需求。因此，在时代快速发发展的推动下，要对开发管理和内容管理，进行全面的创新和设计，对需要专门设定的管理形式，要给予高度的重视，可以利用的集合型的保存形式，进行全面的保存。
其实，大数据时代的大数据管理主要是为企业提供重要的发展方向，为企业提供重要的价值信息。大数据时代的大数据管理在数据应用和开发的过程中，起到了重要的衔接作用，也为我国信息技术的发展，打下了坚实的基础。
2.3 对大数据架构进行全面的管理
在大数据时代的大数据管理的过程中，数据框架管理起到了重要的作用，并且与大数据开发的过程中，有很多相似的地方。在传统的大数据时代的大数据管理的过程中，对其数据的开发、处理、保存等形式，都受到了一定程度上的限制。因此，在对大数据时代的大数据架构管理的过程中，对其操作形式，进行了全面的管理创新，避免受到范围的限制。另外，随着大数据不断的增加，大数据构架管理可以根据大数据的用途，质量良好的应用形态。例如：社交网络等形式。
与此同时，在最近几年的发展中，大数据时代的大数据管理形式，也面临着新的挑战基机遇。以此，只有对大数据时代的大数据管理形式，对个人信息、隐私等进行全面的管理，避免个人信息、隐私等发生泄露、不对称等现象的发生，这样不仅仅企业在发展的过程中，提供了最大程度上的安全保障，也为大数据时代的发展，带来了新的发展篇章。
3 结语
综上所述，大数据时代是信息技术时代不断发展的产物，不管对我国经济的发展，还是人们在日常工作、生活的过程中，都起到了重要的作用和意义。因此，本文对大数据时代的大数据管理发展的历程进行了简要的分析，并对大数据时代的大数据管理形式，提出了一些可参考性的建议，只有对大数据时代的大数据管理形式，进行不断的创新，对大数据时代的大数据管理框架，进行不断的构建，也只有这样的才能在最大程度上促进了我国信息技术的发展，也为我国各行各业的发展，提供了重要的发展方向，对我国经济的发展，也起到了推动性的作用。
关键词：大数据；软件工程；群体软件；关键技术
一、大数据时代软件服务工程与群体软件工程
所谓软件服务工程，就是将服务作为主要目标，在应用时需要根据变化不断通过虚拟的手段与分布式手段进行应用，而这种应用方法不仅能够使得软件更加虚拟化，同时也能强化其操作性，与此同时，更能有效解决动态变化与分布变化情况[1]。软件工程在发展过程中能够在大数据领域、云计算中得到更加广泛应用。在网络化、服务化等大环境影响下，软件工程可以得到更好的开放空间。工程师利用数据信息交互、学术交流等多种方式开展合作，对软件进行开发，建设更加具有性价比的软件系统。在软件开发中，目前十分成功的就是开源软件，开源软件的合作模式与结构都是当前学术界最看重的，然而当前常规研究方式却未能实现较大突破。很多学者开始尝试利用网络分析方法对数据进行有效分析，在一些规模较大的开发项目的开发人员中，外围开发者占据绝对优势，并且模块化特征更加明显。和群体软件工程相比，开源软件有较弱的发展态势，而群体软件工程主要是倡导利用众包形式进行开发。
二、大数据时代众包软件服务工程
（一）创新发展态势
众包软件服务工程作为国际各国都密切重视的一种流式数据处理与集密数据处理方式，特别是在服务中对产生的各项数据尤为重视，如何才能将这些密集型数据的存储设施、平台、价值分析等作为服务对象，是当前大数据软件工程在研究过程中的难点与重点部分。从最开始的服务消费，到后来的众包服务开方，随后再到软件平台管理，运营方都由在线流式数据和离线密集型数据组成。当前开发者版本级别达到GB级别，众多用户数据能够达到PB级别，在线沟通数据更是能达到TB级别，利用直接推送功能可以左右软件服务时间，对软件产生关键性作用与影响[2]。
（二）软件生产开发、运营与管理
密集型数据，因为他们本身固有的动态分布形式、动态交互、复杂演化、动态分配、价值隐藏等，都能够体现大数据的最原始行驶情况。从本质角度来看，这些数据仅仅是用于描述内容模量，但是没有具体含义，并且缺乏语义化作用。想要对其进行创新，必须打破原有的研究方法与思维，将密集数据作为主要材质课题，并且将其看作是研究的主体，在主体领域，大数据所在流域与主体专家需要制造，传播大量的数据。他们不仅是大数据的群体用户，还是最主要的消费者，同时也担任着运营和管理的作用，能够将群体智慧汇到一起，逐渐形成系统化的领域和主体知识。将这些知识作为核心与基础，对研究密集型数据相对应的信息学过程与生命周期进行研究，并且及时推送相应的服务期限，研究数据内容的相关语义和标志，最终赋予其相应的矢量。组织主体部分构建价值服务机制与知识体系，在研究和互通过程中，利用操作式管理方式将关键技术应用在密集型数据上，这些都能展示出众包软件工程发展内容。
三、大数据背景下关于信息处理技术发展情况
与传统数据形式相对比可知，在大数据时代下能够实现各项数据相互联系，并且这些相互关联的结构，能够利用当前所有的框架，对数据进行及时且有效的处理。将硬件作为基础，通过该基础搭建的网络存在相应局限性，并且制约了网络的性能和发展，因此需不断探索与创新网络架构技术，以此实现大数据技术的提高。在日后发展过程中，计算机网络必须为其提供开放式的结构与传输功能，将计算机网络信息处理与软件基础、硬件基础分开使用，随后对网络架构进行定义。相关网络软件使得我国网络技术朝着更高水平发展，随着大数据时代的不断深入，计算机能够实现网络、硬件、软件融为一体，并且产生出新的网络结构，能够为大数据时展提供重要理论与实践意义。这种形式不仅能够突破传统计算机在处理信息时因为网络所带来的限制，同时也能使计算机处理技术开发与应用形式打破单一情况，逐渐朝着多元化方向不断发展。
四、结语
综上所述，随着我国大数据时代的到来，社会各领域都将受到大数据思想和创新技术的影响。大数据对人们的生活方式产生深刻影响，因此将大数据作为当前一种最新兴的网络技术。
参考文献：
关键词：大数据；软件工程；软件服务工程；第四范式
自上个世纪90年代初，信息高速公路在美国提出以来，历经近30年的发展演进，信息技术发展突飞猛进，信息化领域的新技术、新词语层出不穷，诸如IT技术、互联网技术、大数据技术、区块链技术、人工智能等。并且对人们的生产、生活方式产生了深刻的影响，认为现在进入了大数据时代、万物互联时代、智能化时代等。笔者认为，一直以来，其中除了硬件的发展，还有两个关键因素同样值得关注，一是数据，其是基础和目的；二是软件，其是方法和工具。唯如此，才能实现在软件生命周期即设计、开发、运行、优化，实现与大数据生命周期即获取、清洗、集成、分析、呈现等的互动。[1]换言之，现在来说，就是大数据和软件工程，二者助推了信息技术的发展，同时也是信息化的产物，在大数据时代背景下，研究软件工程技术的应用，对于经济社会的发展有着十分重要的意义。
1大数据和软件工程简述
1.1大数据简述
沃尔玛的“啤酒与尿布”是众所周知的大数据经典案例，大数据已经是当今信息社会炙手可热、耳熟能详的词汇，而且已形成共识，即人类已经进入大数据时代。上个世纪80年代初，《第三次浪潮》一书风行全世界。该书作者美国社会思想家阿尔文托夫勒就在文中将人类社会发展划分为三次浪潮，即以“农业文明”为主导的第一次浪潮，以“工业文明”为主导的第二次浪潮，以“信息化”为主导第三次浪潮。[2]其中首次提出了“大数据”（BigData）一词，并且，以“第三次浪潮的华彩乐章”这样的用词对其进行热情的讴歌。[3]全球著名咨询公司麦肯锡于2011年5月了《大数据：创新、竞争和生产力的下一个前沿》报告，公认此报告宣告了大数据时代的到来。由于大数据概念的提出源于不断的发展实践，其本身并没有严格、权威的定义。通常认为，大数据的大即大数据集的规模一般应达到10TB左右，现在已经达到了PB级的数据量。维基百科称“大数据”是这样一个术语，即其是用以描述用传统的数据处理应用软件无法完好处理的庞大的或者复杂的数据集。但“大数据”这一概念并不仅仅指数据规模的庞大，还包括对这些数据对象的处理以及应用活动。IBM提出大数据通常具有“5V”特征：Volume（数据体量大）、Variety（数据类别多样）、Velocity（处理速度快）、Veracity（数据真实性高）、Volume（数据价值高）。[4]大数据技术分类并分平行关系，而是呈纵向、层级状结构，详见图1所示。
1.2软件工程简述
软件工程本身并没有严格、权威的定义。并且，也是直到20世纪60年代初才出现了“软件”一词，于此之前，更多的是程序的概念，后来人们认识到与程序相关的文档也有着相当重要的作用，才有了“软件”一词的出现。软件发展至今天，已经远远不是程序个体或者程序员合作的方式能够完成的，即使能够完成，也会是效率低下、程序运行可靠性差，或者说根本就无法完成。于是，在1968年召开的大西洋公约学术会议上提出了软件工程的概念,简单理解，就是以工程的方法来进行软件系统设计、开发、运行、维护、优化等技术的总和，进一步言之，就是用“计算机科学、数学管理科学等原理，以工程化方法制作软件的工程”，属于一门交叉学科。[5]通常认为其包含有四个要素：（1）软件工程目标；（2）软件工程范型；（3）软件工程过程；（4）软件工程原则。
2大数据与软件工程的结合方式
宏观上讲，软件工程是比大数据更为宽泛的概念，大数据的技术与应用被软件工程所涵摄。如图1所示意，虽然大数据的各项技术与应用属于垂直领域，而软件工程牵涉的是横向领域，更加关注软件产品及软件系统工程上的实现及其管理。但是，大数据无论是其产品还是其系统的完成与落地，都离不开软件工程方法论的支持。换言之，软件工程的方法与技术贯穿于大数据的开发与应用，大数据也只是在软件工程发展过程中出现的概念。软件工程开发具有综合性，其应用渗透于各个学科和领域，大数据的技术与应用当然是软件工程所关注和研究的对象，或者说大数据技术的每一环节都离不开软件工程的支持。大数据应用的基础是要依赖数据链条的完整性，采用相应的算法于海量的数据中进行规律分析，算法要依据相应的实际环境进行相应的升级，遵循开发的基本原理，充分调整数据分布，从而在研究过程中将大数据技术与软件工程方法结合起来。并在开放的环境中通过网络与通信技术实现数据的共享，在此过程中，软件技术和水平亦能得到进一步的提高。在二者相互作用渗透的过程，软件效率得到提高，软件效益得以提升，从而实现客户需求的最大化。在软件开发过程中，还需要有必备的硬件和软件的支撑，来支持相应的数据流，随着数据流的增长，对于硬件和软件就会有更高的要求。工程技术人员在对数据流进行分析研究的同时，专家学者还会对在线服务进行研究。但是，数据流是重点，包括对数据流的使用方法的研究，对支撑数据流的软件和硬件的研究。另外，从软件工程开发角度看，无论是在服务端还是在用户端，软件的运行当然会产生大量的数据流，都将产生大量的数据信息，这些数据流对于软硬件的使用寿命有着决定性的影响。因此，在软件工程的开发中，对于海量数据产生的环境下，更有必要做好数据流的管理，要高度重视数据流的分析研究，并且对于原始数据进行深入的研究也应该引起重视，以期延长软件的使用周期。[6]
3大数据时代的软件服务工程
软件服务工程即所谓的面向服务的软件工程，强调的是其相对于传统软件工程的扩展。近些年来得到了很快的发展，已经成为当今时代的主流社会需求之一，服务功能已经是软件开发的基本原则。另一方面，也可以将其直观理解为“软件（Software）+服务（Service）+工程（Engineering）”三个方面的交叉融合，或者软件工程与服务工程两者的融合等。其内涵可以理解为研究面向服务的软件工程原则、软件工程方法以及软件工程技术，同时利用相应的软件服务设施和平台，开发较高水平的软件服务系统。[7]软件开发者根据需求变化，在社会实际实用中，以面向服务作为主要建设目标。在开发的初期就要首先搭建好软件的框架，充分利用编程语言、构思好编程思路，确保开发软件能够提供可靠的服务应用，保障软件运行时的稳定与可靠。在实际的服务过程中，要求开发者运用分布式应用程序，以虚拟操作的方式提供用户相应的服务。在应用中，融合大数据技术，能够实现对数据进行编程，达到软件互操作的效果，并提高对数据的主动协调。软件工程开发工程师可以对数据信息共享，实现各种学习交流，对软件进行协同开发，并结合用户的反馈，对软件系统进行优化处理，提高软件的性价比。近年来，开源软件是较为成功的软件习作模式，但是，其采用常规的研究方法，应用价值还不是很高。与开源软件相比，群体软件工程属于一种分布式软件开发模型，能够依靠网络进行任务分配，并能实现创造性的查询，通过众包形式的开发，解决开发过程中的难题。并且，在整个开发过程中，众包开发可以贯穿其全过程。所谓众包，一如其字面含义，是一种分布式的生产开发模式和问题解决方案。通过该种方式，开源软件和商业软件均可通过网络进行任务和责任分配。[8]随着我国计算机科学技术的不断发展进步，软件工程技术也取得了长足发展，软件服务工程也支持得到拓展和延伸。在大数据时代背景下，我们应当加快大数据技术和软件工程技术的融合与创新，提升对海量网络数据进行编程处理的能力，提高软件的安全和效能，增强其稳定性和可操作性，进一步整合软件工程系统的集成度。
4数据密集型科研第四范式
图灵奖获得者、关系数据库研究专家詹姆士格雷(JamesGray)曾经从科学哲学的层面将人类科学研究模式总结划分为最初的实验科学阶段，之后的理论科学阶段，到通过模拟的方法进行的计算科学三个阶段，相对应地称之为科学研究的第一范式、第二范式、第三范式。但是伴随着模拟连同实验所产生的海量的数据，需要由软件处理这些由各种仪器或者模拟实验产生的海量数据，并将处理得到的信息和知识存储于计算机中。之后，科研人员只需要对这些存储于计算机中的少量数据进行分析研究，不再是直接通过仪器或者模拟进行研究。因而基于数据密集型科学研究独特的技术以及其显著的不同于以往研究的特点，詹姆士格雷在2007于其科研报告中提出了将这种数据密集型的科学研究模式从计算机科学类型中单独区分出来的思想，随之产生了一种被称之为第四范式的新的科研模式。该报告整理后题名“吉姆格雷论e-Science:一种科研模式的变革”，成为微软于2009的年首次全面对数据密集型数据进行描述的论文集《e-Science：科学研究的第四种范式》的开篇文章。[9]当前，相当多的计算机领域的专家学者对数据密集型科研第四范式予以了关注，并进行了相应的研究，探索出了相应的方式方法，第四范式的研究被认为是大数据时代背景下软件工程技术研发的关键。信息化的发展与渗透，导致一切的事物都在随之发生着变化。包括实验、理论分析和计算科学均在数据泛滥的影响下与之前大不相同，软件工程技术既要适应科研第四范式，又在其中扮演着更加重要的作用。传统范式下的目的与探索之间不能够很好地衔接，数据信息的应用效率难以保障，难以满足项目管理目标的实现。数据密集型科研第四范式下的技术以及理论相关内容，与大数据技术特别是其中的存储技术有着紧密的关联性，其待探索的空间和应用价值相当广阔，其数据信息研发急需相应的理论支撑，该范式下的软件工程技术应用模块，亦能够对其他范式下的数据信息进行分析，对于更好地实现数据的存储与处理，提升处理效率，有着重要的研究价值。在第四范式模式下，对集成密集型数据的软件服务价值进行评估是首要的，需要摒弃以往的数据统计方法，构建新的针对大数据进行信息统计和分析的方法，这对软件工程技术的发展起着重要的作用。在软件工程技术的研究中，应当更新传统理念，重视其对大数据的处理和分析能力，使软件产业呈现全新的面貌，从而亦能促进其对大数据的数据分析能力。在第四范式的基础上，亦能够更好地支持第三范式，甚至于第一范式。该范式研究在我国软件工程开发中还处于初级阶段，软件工程开发人员需在强化已有数据模型研究基础上，加速由第三范式向第四范式的转变，尽快实现其应用层面的服务价值。
1大数据技术和软件工程技术
大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。
大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。
2大数据背景下的软件工程基础
处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。
2．1软件服务工程
在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。
2．2软件开源
软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。
2．3群体软件工程
群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。
3大数据与软件工程技术的未来发展方向
3．1大数据与软件工程技术开放式的发展
大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。
3．2大数据与软件工程技术融合到其他领域
软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。
4众包软件服务工程中的大数据技术
在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。
5密集型数据科研第四范式
第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。
在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。
参考文献
关键词：大数据技术；大数据管理模块组成技术；技术分析；分支技术探析
自从我国各领域对大数据技术产生应用需求之后，已有多个企业并计算机技术开发应用领域人员开始对多个情境下的大数据技术的需求、应用以及发展做出了应有的贡献。在大数据技术日趋成熟之际，人们对大数据的认知成熟度需要得到普遍提升，而计算机技术领域的专业人员也需要站在专业角度，对大数据技术的构成进行深入了解。这不仅对大数据技术的普及应用和持续发展有益，更对各领域的个人发展、顺应时代潮流以及个人的专业素养提升有极大帮助意义。本文中笔者结合自身对于大数据相关技术的正确认知，对大数据技术发展认识基础上的分支技术体系展开深入讨论。
1基于分布式大数据管理模块构成的技术探究
我们在深入挖掘大数据技术对其进行了解之前，首先要了解它主要需要解决什么问题，以及能够解决什么问题。一方面，在大数据技术出现之前，IT行业各类技术发展速度不是很快，系统化应用过程中的各类软件框架体系也足够完善，普通的单个服务器为基础平台的数据库之计算能力，也足够支撑各类系统计算业务。但随着各行业数据越来越多，单机计算能力上限已经被多个行业的计算软件“触顶”。在这种情况下，大数据管理模块技术开始被人们所关注，下面分析支持它进行计算的细分技术。首先，在大量数据储存方面，HDFS的分布式储存可以解决数据储存的困难。它可以让多个主机对同一任务进行同时计算。那么，它的实现需要周边便衍生了许多与管理和缓存有关的技术。包括：“yarn”技术可以在程序开发中帮助人解决资源难资源调节难题；“flume”可以帮助解决传输数据的问题；“sqoop”可以转换分布式储存数据与传统数据库之间的数据；“oozie”可以帮助业务程序资源调节计算任务；“kafka”则提供了订阅机制的消息队列；“zookeeper”可以有效地帮助用户快速完成对主备服务的选择；“hive”在HDFS的基础上提供了数仓的功能。“hbase”基“hdf”来实现一个列式数据库。然后从数据处理过程来看，对于数据库计算技术方面的大数据相关技术应用，是在普通数据库技术存在和被应用基础上对计算业务进行逻辑处理的过程。对于单一的业务处理，可以通过编写健壮的代码进行定时的任务进行相应数据的结算。若业务冗杂，需要定时获取多种数据采集分析，则通过代码实现各个JOB维护成本太高。在“Hadoop2.0”完美解决该问题，采用HQL自动生成数据的mapreduce任务基础上，多个领域的项目实践过程中，就会出现多个reduce任务就会被批量删除掉的情况。因此，Hadoop技术正在走在被淘汰的路上。那么，Hadoop现在是一个可以用硬件集群上进行大规模数据处理的优秀工具，但是若开发人员需要处理动态数据集、点对点分析多进程数据，那么Google已经为我们展示了大大优于MapReduce范型的技术选择。因此毫无疑问，Percolator、Dremel和Pregel将成为大数据技术未来发展的主流技术。
2支撑大数据管理模块组成的各类技术详析
为了能够更好地架构大数据项目，技术人员、项目经理、架构师等大数据管理模块开发流程中不同角色人员为了选择合适的技术，必须了解大数据各种技术之间的关系，以便选择合适的语言，实现相应的功能。那么，笔者在下面对几点中提到的大数据分支技术进行详细分析。
2.1HDFS技术
与普通编程语言应用编写系统相比，HDFS主要改革在数据储存形式方面，HDFS即Hadoop是以流式的数据查找和提取模式对文件型数据进行规模化储存，而且大数据管理模块应用中的数据通常是占用内存过大的单元数据，HDFS运行于多个主机集群中，属于是管理网络中跨多台及其进行数据储存的文件系统支撑基础。我们从HDFS技术应用的过程来分析使用数据块的益处：在程序运行过程中，HDFS上的文件会被划成64MB大的多个分块，每一个数据块都可以存储不同的数据。文件型数据块不需要储存在同一个磁盘上，因此它们可以利用集群上的任意一个磁盘实现存储。所以这从根本上大幅提升了大量数据管理的效率。而HDFS技术也可以提高系统中对数据储存的容错力。在业务处理方面HDFS的优点更为明显：HDFS的应用可以做到简化储存子系统的设计，将每个服务器的储存子系统控制单元设置为“块”，因此可实现简化储存管理，用一个单独的系统就可以管理这些块的元数据，这就大幅减轻了服务器的数据管理压力。
2.2yarn技术
Hadoop集群管理员希望能根据不同的业务组或不同的用户对集群yarn作业的资源进行控制，也就是对yarn的资源池进行划分，达到资源管控、任务管控的效果。yarn技术管理分配资源细节如下：yarn默许提供了多种资源分配的策略，用于分配的资源可以是节点的数量、内存的大小、CPU核数，它主要将MP1中JobTracker的资源管理和作业资源调节两个功能分散，分别由ResourceManager和ApplicationMaster进程来实现管理，以负责整个集群的资源管理和资源调度，并负责处理应用程序提出的事件，比如调节任务及数据资源、监视运行任务情况和出错信息等，具体作用体现在“模块提交作业”“初始化作业”“分配任务和运行”“更新模块运行相关数据”等方面。而Flume可以通过运行可靠的服务模块，用于有效地收集和移动日志数据，使用简单的可扩展数据模型，被允许收集日志数据，导进到HDFS中并实现在线分析应用程序。因此，HDFS是Hadoop应用程序中主要的分布式储存系统。
2.3sqoop技术
sqoop解决了分布式寄存数据与普通数据之间的转换。它属于可以将Hadoop和关系型数据库之间实现数据导进导出的工具型技术。它可以通过sqoop把数据从普通数据库，包括Mysql数据库和Oracle数据库中导进到HDFS中，反之亦可。sqoop通过Hadoop的MapReduce导进导出数据库中的数据，因此它提供了很高的并行优势以及良好的容错性。通过sqoop技术的应用，开发大数据管理模块的人员可以将数据从普通数据库中导出，并导进到HDFS中。导进到HDFS的数据形式为数据库表、查询结果，以及从HDFS中导出的文件形式则是数据库表或者集合类型的文件。在HDFS导进数据的多个进程可以并发运行，这时的输出的可以是多个文件输出结果。这些文件可能是标准的文本文件，也可以是Avro或者SequeenceFiles的记录文件。总结来说，sqoop是可以在大数据系统运行模块中将db数据与hadoop之间交换数据，而将其应用于系统开发过程中，则需要开发人员参照较为冗杂的使用文档。在优点显著的同时，sqoop也有些许缺点。因为hbase技术显然采用的是基于HDFS为核心的列式数据库存储数据的形式，是多种分布式、可以扩展的大数据储存方式，它能够为各种大数据集上随机和及时的阅读、写数据进行访问功能，并且能够实现分布式的列型数据储存，能快速地索引查询数据。较其他普通的数据库处理技术而言，hbase对于写入的时间更为随意，因此hbase总会有很多超时的现象，这成为了许多开发者在程序开发后的运行测试中的诟病。因此，此项技术目前仍然正在进行持续的优化。最后是接收数据的“Hive”技术应用模块，acheHive提供完整的HiveQL查询功能之外，还是一个数据仓库系统。而zookeeper可以实现类似“主从后台事件列序”“分配事件”“协调负载”等多种功能。
2.4Oozie的应用特点和优点
Oozie是用于Hadoop平台开源的技术，用工作流资源调节引擎，用来管理Hadoop作业，它是属于Web应用程序。因为Oozie的工作流必须在一个有固定流程的无环结构中，所以，使用Oozie时，若前一个任务执行失败，后一个任务将不会被资源调节。优点是当用户需要执行多个关联的MR任务时，只需要将MR执行顺序写入workflow.xml文件，然后使用Oozie提交本次任务，Oozie会托管此任务流。而Oozie对工作流的指定，与JbossjBPM提供的jPDL一样，提供了类似的流程定义语言hP⁃DL，它可以利用XML文件格式来定义流程。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发等等。Oozie的控制流节点和动作节点可以让开发者定义流程的开始与结束，并能够以及控制流程和定位具体数据地址。
2.5Kafka的特点和应用优点
Kafka可以用于即时构建数据流传输程序以及流式数据处理、应用程序。它具有水平可扩展性、容错性、速度极快的特点。此外，它的运行过程具备三个特点：“消息”“持久化”“流处理”。客户端服务器通过使用TCP协议进行模块间的数据交互，具体的数据流的写入过程则有支持多种语言的特征，此外，它还支持主题和日志功能，一个主题可以有零个、一个或多个用户写入数据。对于每个主题，Kafka可以维护一个模块日志，每一个分区都成为一个有序且不可变的记录序列，不断添加到结构化的提交日志中，这使得Kafka技术应用有“用户在应用程序过程别容易使用”的特点。
3大数据管理模块技术成熟之上的应用领域
严格意义上讲，大数据技术是数据分析的前沿技术，那么，从大量、各类的数据中，及时获取有价值的信息的技术应用，就是大数据技术得到发展的缘由和最终意义，对于大数据技术在实际生产和生活中的应用领域大致分为以下几个方面：第一，移动互联网出现后，为了提升移动设备用户的用体验，在移动设备的用户点击行为数据记录过程中，应用到了大数据技术。第二，在数据记录、保存方面，大数据技术在音乐文件保存、视频资料保存、监控录像数据保存方面对大数据技术进行了应用。第三，在交通方面，如百度、高德、Google等电子地图为了人们出现更加便利，在应用大数据技术过程中同样利用大数据技术挖掘并提取、计算了大量有价值的信息。第四，随着移动设备的加入，人们的社交行为产生了大量的数据，这为人们生活环境安全性的巩固促进了大数据技术发展。第五，人们使用搜索引擎搜索数据期间，搜索引擎为向用户提供更多有价值的信息，应用了大数据技术。
4结束语
综上所述，对于大数据技术的成熟的认识，要从大数据技术应用过程以及解决问题过程中应用的不同技术展开分析，这不仅能让我们在当下社会跟上IT行业发展的步伐，更能减轻我们学习、实践、应用大数据技术过程中的恐惧心理和畏难情绪，助力我们的专业能力步步高升。
参考文献：
[1]彭宇,庞景月,刘大同,等.大数据:内涵、技术体系与展望[J].电子测量与仪器学报,2015,29(4):469-482.
关键词：大数据：软件工程技术：数据分析
1大数据技术和软件工程技术
大数据技术事实上是将人类日常生活中产生的各种数字信息，将这些信息收集起来之后分类处理，设定不同类别的存储空间，按照类别存储。大数据技术从功能的角度出发可以划分为多个类别，诸如分析技术、机器学习技术、遗传算法技术、自然语音处理技术等。应用大数据技术分析，就是基于当前的科学技术发展起来的一种分析技术。它主要依靠现代科技手段发挥技术的作用，特别网络技术发挥着基础性的作用。整理基础数据，对数据信息进行分类整理，应用相应的计算机算法，将相似特性的数据划分为一类，最终得到大量的数据，应用大数据技术对这些数据进行分析。大数据分析应用于互联网行业中，所发挥的优势是有目共睹的，而且还不断地引入新技术，在软件工程技术中应用，对该技术的发展起到了促进作用[1]。大数据时代，社会各个领域都已经实现了信息化发展，人们对软件工程的概念越来越熟悉。事实上，软件工程的历史始于20世纪的中期，其研究重点是软件技术和工程管理。将相关工程内容引入其中，使得工程系统化运行，其中所涵盖的研究内容包括软件的生命周期、软件工程设计、软件的技术维护等方面。因此，在软件设计的过程中，要控制好技术开发成本，保证工程质量，使其生命周期不断延长，不同项目的技术需求和用户的各种技术需求都能够得到满足。
2大数据背景下的软件工程基础
处于大数据时代环境中，软件工程的发展中关乎到不同的领域，需要高度重视。大数据技术具有专业性的特点，还具有很强的实用性价值。在软件工程技术的研究中，要从应用需求出发不断创新软件技术，对于传统的技术要不断摒弃，对软件工程的发展创造良好的客观条件。大数据技术环境下，软件工程基础是基于互联网技术建立起来的，对各种数据信息系统化管理，根据需要进行处理，对工业的发展非常有利[2]。在软件工程技术中，大数据的安全性问题是需要高度重视的，否则，就会对软件工程技术造成不良影响，引起严重的后果。
2．1软件服务工程
在软件工程的研究范畴中，软件服务工程的数量不断增多。软件工程服务化方向发展，就是发挥服务的作用，使其成为软件开发的基本原则，按照服务项目内容为用户展开服务。由于软件工程发展的主题有所，服务内容也要做出相应的调整，同城是对软件工程的进行技术维护。在具体的服务工作中，需要软件开发人员使用分布式应用程序，在管理工作中采用虚拟操作的方法为用户2019.08提供服务[3]。软件工程技术应用中，结合使用大数据技术，可以对网络数据进行编程，使得软件具有互操作性，对于数据主动协调，使其符合动态场景的变化节奏，软件系统的集成度有所提高。
2．2软件开源
软件开源更为注重用户对软件技术的体验。在对软件开源进行研究的过程中，采用常规的方法，虽然获得一定的成果，但是应用价值不是很高。一些研究人员在研究软件工程技术的时候，就是将软件开源作为突破口，将开发项目划分为多个模块，将每个模块分给指定的研究人员进行开发。
2．3群体软件工程
群体软件工程是通过网络的方式进行软件开发，具体的实施中采用工程众包的形式，使得软件开发技术发挥作用。群体软件工程是一个分布式软件开发模型，这个工程项目的运行中，可以通过网络实现，对各项任务进行分配，也可以进行创造性的查询，通过众包解决软件开发过程中遇到的一些困难和重要问题。同时，在软件工程开发过程中，软件工程可以在任何阶段通过众包进行开发[4]。
3大数据与软件工程技术的未来发展方向
3．1大数据与软件工程技术开放式的发展
大数据技术的主要前提是大量的数据流，需要技术不断地升级和创新，寻求开发的研究途径是非常必要的。计算机网络的发展意味着计算机可以在开放的环境中相互通信，共享数据资源，软件等信息的有效利用能力也会有所提升。通过网络运行可以增加利润，使得用户的各种需求得到满足，提高资源的利用率。
3．2大数据与软件工程技术融合到其他领域
软件工程技术在当今许多科学领域有着广泛的应用。由于软件工程技术给予各个领域非常大的帮助，从航空到生活中都发挥着软件工程技术的作用[5]。应用程序的运行，可以使用数据平台对信息进行收集并分析。比如，用户在进行股票交易的过程中应用大数据技术，可以使用软件工程技术构建数据模型，通过对数据模型的分析，预测股票的变化趋势。
4众包软件服务工程中的大数据技术
在软件开发过程中，必须有足够的硬件和软件基础来支持数据流，随着数据流的量逐渐增多，对硬件和软件就有了新的要求。专家学者在分析数据流的时候，还对在线服务进行了研究。数据流是重点内容，主要是对数据流的使用方法进行研究，对支撑数据流的软件和硬件进行研究[6]。从软件工程开发的角度而言，软件运行中都会产生大量的数据流，包括服务端、用户端等，都会有很多的数据信息产生，这些数据流对软件和硬件的使用寿命起到了决定性的作用。软件工程的开发中，要做好数据流的管理工作。有必要对原始数据进行深入的研究，为提高软件的使用寿命创造条件，对数据流的分析要高度重视[7]。
5密集型数据科研第四范式
第四种科学研究范式是指根据实际情况建立独立的科学研究方法，探索第四种范式的理论基础，以及大型数据存储设备在发展中的重要性。软件工程中，采用传统的大数据研究方法，大数据的有效分析是不可能的，大数据的研究还没有取得突破性的成果。因此，目前大多数软件不能在短时间内同时实现数据信息的存储、数据信息的传输和有效识别。在探索第四范式理论和研究方法的过程中，首先需要对集成大数据的软件服务价值进行估计，抛弃传统的大数据统计方法，建立新的大数据信息统计方法和分析方法[8]。此外，有必要从多个方面研究大数据的处理，对大数据信息进行管理并深入分析，讨论大数据的价值以及存在的可变性，这对软件工程的发展起着重要的作用。在研究软件工程技术的时候，必须更新传统的软件开发理念，重视软件处理和分析大数据能力的发展，使得软件产业呈现出新的发展面貌。
6结语
在当今大数据时代，软件工程技术的研究已经区域复杂。随着数据的指数的不断增长，软件技术对硬件设备数据处理能力产生一定的影响。因此，在对软件工程技术的研究中，就需要对大数据技术的特点进行研究，基于此研究软件工程技术，使得硬件设备的数据处理能力有所提高。在研发开发软件技术的过程中，要从应用领域的需求出发对大数据技术进行分析，在大数据开发理论的基础上创新软件开发理论，促进软件技术更好地发展。
关键词：能力本位；大数据专业；课程体系
高职大数据专业教育的本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才[1-4]，以能力为本位的大数据专业课程教学始终贯穿于高职大数据专业教育的全过程，这也是促进新常态下高职大数据专业教育教学发展的主要因素。但是，就目前的发展态势来看，高职培养的大数据专业人才的数量和质量远远未能达到市场和企业的需求，究其原因，主要是因为高职大数据专业课程尚未形成体系，未能在有限的教学课时内有机整合交叉重复的课程内容，从而未能突出体现学生综合能力的培养[5-9]。因此，构建基于能力本位的高职大数据专业课程体系势在必行。
1高职大数据专业课程体系构建的必要性
国务院于2015年8月印发的《促进大数据发展行动纲要》指出，“建立健全多层次、多类型的大数据人才培养体系……重点培养职业工程师等大数据专业人才”。为了在一定程度上满足市场和企业对大数据技术相关人才的需求，截至2020年12月，全国共有289所高职院校开设了大数据专业。由于我国高职院校大数据专业开设的时间短、起步晚、底子薄，大数据技术专业人才总体上来说是短缺的[1-4]。此外，由于人才培养目标和就业定位仍然不够明确，尚未形成系统性的师资团队、高效的实践教学平台和标准化的课程体系，未能有效构建和运用交叉学科的知识体系和课程内容。因此，不完善的课程体系和课程内容导致教师只着重计算机领域知识的教学，缺乏适合学生学习系统性的大数据课程教学计划，忽略了大数据专业学生技能的培养，不能适应大数据时代市场和企业对大数据专业高技能型人才的需求。目前我国高职院校大数据专业教学和人才培养仍处于摸索阶段，如何从培养学生深度的思维能力和解决广度问题综合能力的角度出发，构建基于能力本位的大数据专业课程体系是摆在高职院校面前的一个重要课题[1-9]。
2基于能力本位高职大数据专业课程体系构建的可行性分析
2.1面向计算思维能力的高职大数据专业课程体系。计算思维能力即在管理学和教育学基本理论的基础上，充分、综合运用计算机专业领域的基本概念、基本方法、基本手段和基本过程对所需求解的问题进行深度上和广度上的抽象、挖掘、归纳，从而求得最优解的一种思维能力[5]。高职大数据专业教育的培养目标本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才。计算思维能力完美地诠释了高职大数据专业课程教育教学的内在本质，即将高职大数据专业课程划分为一种包括通识教育、大类教育、基本认知等模块课程在内的螺旋递推式的计算思维课程体系，通识教育课程包括数据科学数学基础、人工智能导论、操作系统、统计学、管理学基础、计算机组成原理、数据科学导论、大数据结构、数据库原理、大数据编程算法等课程，充分、综合运用管理学领域、教育学领域、计算机专业领域的基本概念、基本理论、基本方法、基本手段和基本过程对所需求解的大数据分析、处理、应用问题进行深度上和广度上的抽象、挖掘、归纳。因此，通过构建面向计算思维能力的高职大数据专业课程体系并在实际的教学活动中加以实践，促进学生熟练掌握大数据的基本概念、基本理论、基本知识、基本方法、基本手段、基本过程和基本技能[6]，从而具备初步的项目开发经验和能力。2.2面向应用能力的高职大数据专业课程体系。高职大数据专业教育的本质是为了培养在大数据采集、存储、传输、分析、处理、应用等领域实践能力强、综合素养高的技能型人才，即高职大数据专业教育的本质是以能力为本位的。基于面向计算思维能力的高职大数据专业课程体系，面向应用能力的高职大数据专业课程体系是指将大数据主干课程划分为专业骨干、专业实践等模块课程，它们属于应用能力培养的范畴，专业骨干课程可开设的课程主要包括大数据程序设计、大数据采集、存储与传输、数据库应用技术，专业实践课程可开设课程包括大数据核心平台技术、大数据挖掘、分析与处理、大数据应用、大数据可视化技术等。这是高职大数据专业基于能力本位的课程体系整体框架中的核心课程，也是后期以“专业拓展”“综合拓展”等模块课程为标志的工程能力培养课程开设的前提[5-7]。面向应用能力的高职大数据专业课程体系侧重于大数据应用框架的部署和理解，课程内容完美地体现了培养学生的大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术等方面的核心能力。2.3面向工程能力的高职大数据专业课程体系。工程能力是指在计算思维能力和应用能力的基础上，学生通过团队协作解决实际工作中较为复杂综合性的工程项目开发问题的能力。因此，面向工程能力的高职大数据专业课程体系包含专业拓展、综合拓展等模块课程，它们属于工程能力培养的范畴，即培养多元化的具有广度创造技术、深度人工智能开发技术的大数据分析师、大数据架构师、大数据运维工程师、大数据开发工程师、大数据科学家等工程项目设计与开发人才[6]。面向工程能力的高职大数据专业课程体系通过项目小组团队协作的形式，以工程项目与企业真实案例为驱动，促使学生搭建大数据工程项目设计与开发的框架，细化框架内部细节，集思广益，形成最终的工程项目解决方案，并充分运用所学的专业骨干、专业实践等模块课程中的大数据程序设计、大数据采集、存储与传输、数据库应用技术、大数据核心平台技术、大数据挖掘、分析与处理、大数据应用、大数据可视化技术等课程的核心知识，实施大数据工程项目的大数据采集、存储、传输、分析、处理、应用、作业调度、工程维护、代码调错等，从而完美地实现培养学生解决实际工程问题能力的目标[7-9]。
3基于能力本位的高职大数据专业课程体系构建途径
3.1构建支撑计算思维能力培养的立体化课程资源。面向计算思维能力的课程体系是高职大数据专业发展的一个基础性课程体系，这是大数据专业能力向应用能力与工程能力纵深发展的延伸性课程，目的在管理学和教育学基本理论的基础上，充分、综合运用计算机专业领域的基本概念、基本方法、基本手段和基本过程对所需求解的问题进行深度上和广度上的抽象、挖掘、归纳，使学生掌握大数据专业的通识教育、大类教育、基本认知等模块课程，从而为学生拓展应用能力与工程能力打下基础。因此，需要构建支撑计算思维能力培养的立体化课程资源，其主要形式是利用移动互联网设置集课程资源、线上线下资源、实践课程资源为一体的立体化课程体系教学资源模式[5]，并利用移动互联网构建多样化的线上线下网上教学环境、学生线上线下学习平台。课程教学资源以线上线下和任务与项目驱动的实践课程形式为主，学生在教师的启发和引导下自主学习，时时讲解、时时操作。在此立体化课程资源支撑下，按照“计算思维形成→基本技能训练→计算思维能力培养”的要求，充分运用混合式翻转教学方式，对一些重点难点的课程内容进行反复教学，实施数据挖掘与人工智能结合的大数据专业基础知识的实际操作，对学生进行个别指导，加深学生对基本知识点的掌握和理解。3.2搭建支撑应用能力培养的实训平台。高职大数据专业实践性、应用性极强，面向应用能力的高职大数据专业课程体系要求搭建适当的支撑应用能力培养的实训平台以强化学生的应用能力。搭建支撑应用能力培养的实训平台，重点是学校应根据大数据专业人才培养目标和计算思维能力培养需求，从硬件环境、软件环境、线上线下网络教学平台等方面入手，构建集大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术等于一体的核心能力培养平台[5-6]，大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术课程采用线上线下模式、理实一体化的教学方式，主要用于大数据专业的“专业骨干”“专业实践”等模块课程的实训教学；软件条件方面，利用搭建的实训环境，以学生分组协作形式，可以选择并行分布式处理软件Hadoop和Spark，实施大数据预处理、模型的建立模型、参数的选择，为学生提供大数据编程算法、大数据程序设计、大数据核心平台技术、大数据可视化应用技术方面的实训项目，使学生掌握基本方法和技巧，理解基本工作原理，从而可以较好地培养学生应用能力。3.3设计支撑工程能力培养的综合性工程项目。面向工程能力的高职大数据专业课程体系即培养多元化的具有广度创造技术、深度人工智能开发技术的大数据分析师、大数据架构师、大数据运维工程师、大数据开发工程师、大数据科学家等工程项目设计与开发人才，它是围绕学生的工程项目开发能力而设置的。因此，学校应结合大数据专业的人才培养总体目标、计算思维能力培养目标和应用能力培养目标，设计支撑工程能力培养的综合性工程项目[6-9]，在每个项目中设置相应的实验，力求做到课程与岗位能力对接，检验学生对实践知识的掌握情况以及解决问题的思想、手段和方法，从而为工程项目开发打下坚实的基础。在综合性工程项目类型方面，把支撑工程能力培养的综合性工程项目分为设计性实验和综合性实验，合理规划工程能力培养计划、培养标准以便较好地适应工程能力培养的新形势，让学生在“练中学、学中练”，考察学生的实际工程项目开发能力，力求工程项目开发能力与企业标准对接。3.4创新基于学生能力本位的教学模式和教学方法。面向计算思维能力、应用能力、工程能力培养的高职大数据专业课程体系是一种螺旋递推式的课程体系，它完美地诠释了高职大数据专业课程教育教学的内在本质。基于学生能力本位的教学模式和教学方法是实现高职大数据专业课程教育教学内在本质的重要条件。因此，高职院校要从大数据专业人才培养和学生实际需求出发，制作精美的教学视频，充分利用微课、翻转课堂、多媒体、远程协作、虚拟现实、系统仿真、探究式、启发式、逆向式、互动式等教学方式、方法和手段[1-4]，按照“思维培养—应用细化—工程开发”的教学模式，围绕大数据专业的课程教学内容，充分利用网络资源，随时调整教学细节，合理安排课时，及时记录教学过程中的反馈信息，使得师生之间的良好互动和沟通达到一定的广度和深度，为学生掌握大数据专业课程的精髓和将来适应工作岗位打下坚实基础。3.5加强基于学生能力本位的师资队伍建设。高质量的专业教师队伍是构建基于能力本位的高职大数据专业课程体系构建的良好保障，因此高职院校要围绕学生的计算思维能力培养、应用能力培养、工程能力培养[5-9]，加强基于学生能力本位的师资队伍建设，让教师在教学与科研中取长补短，丰富知识结构，相互促进，相互提高，从而为教师专业素质和创新实践能力提供保障，提升教师授课水平。
4结语
高职大数据专业课程体系的构建为提升学生的计算思维能力、应用能力、工程能力提供了科学的发展平台，对高职专业人才培养和课程改革具有重要的意义，同时也能使学生成为有知识、有能力的社会主义事业建设者和接班人。大数据对当今社会的重要意义以及大数据专业人才的不足决定了大数据专业人才培养任重道远，但是不足也是动力，也给未来高职大数据专业预留了很大的发展空间。
参考文献:
[1]林宛杨.“职教20条”建设背景下大数据课程体系改革[J].电脑知识与技术,2020,16(36):170-171,176.
[2]刘建华,胡文瑜,唐郑熠,等.数据科学与大数据技术专业课程体系探索[J].科教文汇,2021(2):115-116.
[3]周黎鸣,林英豪,李征,等.新工科背景下大数据专业课程建设[J].计算机时代,2021(1):102-105.
[4]马晓磊,霍恩泽.面向“互联网+产学交融”的交通大数据课程体系建设[J].高教学刊,2021(7):86-89.
[5]崔琳,吴孝银,张志伟.面向学生计算思维培养的数据科学与大数据技术专业课程体系建设模式探究[J].无线互联科技,2020(4):121-122.
[6]戴牡红.面向工程能力培养的大数据教学研究[J].软件工程,2021,24(1):47-50.
[7]袁利平,杨阳.基于能力本位的教师教育课程体系建构[J].河北师范大学学报（教育科学版）,2020,22(5):85-92.
[8]王姝,苏志东.基于能力本位的反向课程设计方法应用研究[J].微型电脑应用,2020,36(9):77-82.
