欢迎来到优发表网

购物车(0)

期刊大全 杂志订阅 SCI期刊 期刊投稿 出版社 公文范文 精品范文

计算机大数据论文范文

时间:2023-03-20 16:18:41

序论:在您撰写计算机大数据论文时,参考他人的优秀作品可以开阔视野,小编为您整理的7篇范文,希望这些建议能够激发您的创作热情,引导您走向新的创作高度。

计算机大数据论文

第1篇

大数据时代的到来,计算机信息处理技术也存在着很大风险,其中最突出的问题是计算机病毒以及恶意盗版软件等,给用户使用计算机产生了极大的消极影响。这些还是一些比较基础的问题,随着计算机技术的发展,还出现篡改数据、冒名顶替等问题,影响计算机技术服务质量,计算机信息处理技术受到了前所未有的考验。另外,大数据时代的到来,还出现了许多新型网络技术,针对一些繁琐的问题能够有效解决,提高了人们的工作效率,然而,这也在一定程度上降低了网络的真实性,特别是在网络交流和沟通日益紧密的前提下,导致网络信息真假难分,不仅增加了信息搜索难度,而且致使人们无法快速获得真实信息。因此,提高计算机信息处理技术至关重要。

2大数据时代计算机信息处理技术

2.1信息采集、加工方面

计算机信息处理技术要进行工作,首先,要采集数据信息,计算机技术都是建立在数据采集基础之上的,数据采集主要是针对目标信息源进行实时的信息监督和控制,并将才觉得数据储存在计算机数据库中,为各个软件提供信息支持,确保下一项工作顺利进行;其次,对数据信息进行加工,按照用户的要求,对数据信息进行加工;最后,将加工好的数据信系进行分类,最终传送到用户手中,实现数据采集、加工以及传送目标。

2.2存储方面

计算机存储技术是将采集的信息储存到计算机数据库之中,在用户需要某一项信息过程中,可以通过数据库直接将数据调取出来,计算机以其储存量大、速度快等优势,受到人们越来越多的关注,另外,计算机技术还能够实现长时间储存。

2.3信息安全方面

大数据时代的到来,让人们感受技术带来的便捷的同时,也让人们意识到数据信息安全对人们的重要性。因此,为了能够提高数据信息的安全、可靠性,可以通过以下几个方面进行:首先,建立计算机信息安全体系,加大专业技术人才的培养力度,投入资金,为构建计算机安全体系奠定坚实的基础;其次,加大研究力度,开发信息安全技术产品。传统信息安全技已经无法满足大数据时代数据安全需求,为了能够尽快改善数据安全问题,应加大研究力度,寻求更好的解决方案,有效避免数据信息受到威胁;最后,重视对重要数据的检测,大数据时代的突出特点是数据量大,无法实现对每一个数据的检测。因此,为了提高数据安全系数,应加强对重点数据信息的检测,从而确保数据信息安全。

2.4信息处理技术的发展

计算机硬件具有一定局限性,在一定程度上阻碍了计算机网络的发展,而云计算网络能够突破这一弊端。因此,推广和应用云计算机网络成为未来大数据时代计算机信息处理的主要发展趋势。传统计算机网络是将硬件与网络有机结合,抑制了计算机信息处理技术的发展,将二者分离开,促使云计算主筋形成云计算网络,从而构建大数据信息网络系统,推动我国社会不断发展。

3结论

第2篇

目前,国内高等院校的计算机基础教育更多地沿用了传统计算机教育的方法,只注重讲授计算机的理论知识和操作要领,未考虑学生学习的效果。这导致学生只是记住一些概念和理论,能做基本的操作,却很难用所学的知识灵活地解决实际问题。当前大学计算机基础教育面临以下4个问题:

(1)学生的计算机应用能力差异大

高等院校的学生来自全国各地,而不同地区的中小学计算机教育水平参差不齐。单一的课堂教学已无法保证所有的学生学得会、学得好,这给教学带来了问题。

(2)教学和实验的学时严重不足

目前,各个高校都在减少课时,教师只能在课堂上和实验中加大讲授的知识量,加快教学进度。当一个教师面对几十个学生时,基础较差的学生往往得不到教师足够的指导和练习时间,这给辅导答疑带来了问题。

(3)学习的结果与过程未被记录下来

学生可以利用丰富的网络资源巩固课堂内容,扩大知识面,加深对知识的理解。在传统教学中,教师往往忽视了学生的课后学习,没有记录学习结果与过程,这给教育过程的改进带来了问题。

(4)目前的网络教学系统很少区分学习个体

网络教学系统能够提供大量的多媒体教学资源,帮助教师进行课后辅导答疑,却很少区分学习个体,导致缺乏个体相关的数据,从而难以提供个性化的指导,这给网络教学系统的智能化带来了问题。这些问题归根结底是数据的问题,是数据没有被有效地规划和整合的问题。我们把与学习过程相关的大量数据收集起来,对这些数据进行分析,挖掘出有价值的信息,最后传递给学习者,这是一种解决计算机基础教育所面临问题的可行方法。

2面向计算机基础教育的大数据

在当前知识大爆炸的时代,人们获取知识的途径不仅仅局限于课堂,更多的是网络资源。当代的大学生接受新生事物更快,更愿意在特定的学习情境下去主动构建知识。因此,大学计算机基础教育需要改革现有的教育模式,将大数据技术融入到大学计算机基础教育中,建立与时俱进的大数据驱动的教育模式可以有效解决上述问题。在大数据时代涌现出大量的网络教学系统,随着这些网络教学系统的推广和普遍应用,使用者数量急剧增加,产生了大量的数据。数据之间可能存在某种联系,对这些联系进行分析和挖掘可能会找到有价值的信息。将有价值的信息展现出来,能够帮助我们做出正确的决策。在人类社会的发展已经由动力驱动转变为数据驱动的背景下,教育正在发生着一场新的变革,大学计算机基础教育也面临着类似的机遇和挑战。通过网络教学系统,可以更加方便地获取和利用大学计算机基础教育相关的各种数据

。大学计算机基础教育涉及的数据主要有以下几种:

(1)课件。课件是文字、声音、图像、动画等素材的集合,帮助教师更加生动地讲解课程内容,主要使用PPT和Flash两种文件。

(2)视频。视频是将教师在课堂上的授课内容录制下来,为学生提供课后学习的方式。学生可以在教学系统中下载或在线学习视频内容。

(3)题目。题目主要用于测试学习效果,包括判断题、填空题、选择题、问答题、程序设计题等各种题型。

(4)问题。学生在学习过程中遇到的问题,通过教学系统提交给教师。这些问题反映了学习的难点,是教师在课堂上需要详细讲解的教学内容。

(5)代码。代码是学生做程序设计类题目时所编写的程序代码。学生编写代码的质量可以由教师评判,也可以由系统自动评判。

(6)行为。行为用来记录学生的学习活动,如课件下载行为、视频点播行为、作业浏览行为、编程行为等。这些行为能够反映出学生的学习情况。

(7)缺陷。缺陷是学生提交的作业中包含的各种错误,反映了学习过程中存在的问题。对教学系统而言,这些数据是进行个性化推荐学习的参考依据;对教师而言,这些数据能够提示教学过程中需要特别关注的地方。

(8)过程。过程是指在教学过程中收集到的一些宏观数据,如课件学习过程、视频学习过程、测试过程等。这些过程能够反映出学生学习的个体差异。

3大数据驱动的新模式

在大数据时代,我们可以利用大数据技术在大量与学习相关的数据中挖掘出有价值的信息。这些信息能够帮助学生更加科学有效地学习,较好地解决当前计算机基础教育面临的问题。因此,我们将大数据技术融入到大学计算机基础教育中,提出一种大数据驱动的计算机基础教育新模式。它是在有效规划和整合计算机基础教育大数据的前提下,为学生提供各种自主学习资源和服务的新模式。学生和教师在使用各种网络教学系统时,输入的数据和学习行为都被系统记录下来。利用大数据技术对记录下来的数据进行分析,挖掘出与学生学习特征相关的数据。这些数据为学生的后续学习提供个性化的推荐,规划个性化的学习路线;向教师反馈学生的学习行为和效果,为后续教学提供个性化的推荐,帮助教师改进教学方法。以在线课程系统、在线编程系统和在线答疑系统为代表的各种网络教学系统目前得到了广泛的应用,这些系统本质上都是大数据驱动。实践证明,这些系统的应用将为学生学习和教师教学提供实质性的帮助。

1)在线课程系统是课堂教学的延伸

大型开放式网络课程MOOC是国际上流行的教学平台。自2013年5月以来,北京大学、清华大学、复旦大学、上海交通大学等国内一流高校纷纷宣布加入MOOC,向全球提供免费的在线课程。MOOC采用云计算架构,提供大量的视频学习资源和人机交互功能。学生提交作业后,系统能自动评判作业的质量,以评估学习效果。MOOC的出现给计算机基础教育带来巨大影响。MOOC解决了学生计算机应用能力差异大的问题,学生不管基础如何,都能找到与之相应的学习内容;MOOC弥补了课堂教学学时不足的问题,学生能在课后随时随地找到学习资源;MOOC能够记录学习的结果与过程以及作业中的错误等,这些对于改进教学方式和调整教学重点等都有意义。

2)在线编程系统是实验环节的补充

随着SaaS技术(软件即服务)的不断成熟,出现了许多功能强大的在线编程系统。这给大学计算机基础教育中的程序设计类课程的实验教学

带来了巨大的帮助。使用在线编程系统进行实验的好处有以下几点:

(1)教师不用在实验室的每台计算机中安装软件,学生通过浏览器就可以编写程序;

(2)学生编写的代码都存储在云端,能上网的地方就能练习编程,并且随时可以修改代码,解决了实验教学学时不足的问题;

(3)在线编程系统主要记录代码和代码编写的过程,能够收集实验过程中与学习相关的数据。国外在线编程系统CodeCademy提供了一种学习编程的新方式。它的用户群是零基础的学习者,所以CodeCademy创设趣味性的学习环境,手把手帮助学习者了解编程的过程。它的在线编辑器能让学习者不用寻找、下载和安装编程环境就可以在网络上编程。在线编程系统不仅为实验教学提供了方便的实验环境,还能收集大量的程序代码和学生的编程行为,有助于分析学生的学习特点与习惯,区分学习个体,为制订个性化学习路线提供有价值的数据。

3)在线答疑系统是课后辅导的平台

学生在学习过程中常常会遇到很多问题,这些问题如果能及时得到解答,就能促进学生更深入地学习;反之,就会影响学生的学习效果和积极性。目前,互联网上已经出现了许多人工解答和自动解答的系统。有代表性的是上海交通大学的远程教育设计中心设计开发的AnswerWeb自动答疑系统,它是一个动态的问题及答案的数据库。学生输入关键词后可以在系统已有的问题和答案数据库中查找相关的材料。如果没有找到答案,则会自动转发给教师请求帮助解答。随后,新的提问和答案将被增加到系统库中。系统会记录所有的问题和答案以及学生提问过程中的行为。在线答疑系统应用到大学计算机基础教育中,解决了教师无法在课后对每位学生进行辅导答疑的问题。同时,利用大数据技术,答疑系统将学生提问和获得解答的行为记录下来,自动的分析这些数据,挖掘学习个体特征,为学生的后续学习提供个性化的推荐。

4结语

第3篇

在大数据时代环境下,信息的获取和选择、信息技术的掌握应用,直接影响知识的生产、科技的创新和成果的转化。大数据时代对高校的教学、学生的计算机应用能力提出了新的要求。产业界需求与关注点发生了重大转变,企业关注的重点转向数据,计算机行业正在转变为真正的信息行业,从追求计算速度转变为关注大数据处理能力,软件也将从编程为主转变为以数据为中心。学生要学会对数据的去冗分类、去粗取精,从数据中挖掘知识,要能够把大数据变成小数据,要在不明显增加采集成本的条件下尽可能提高数据的采集质量。要研究如何科学合理地抽样采集数据,减少不必要的数据采集。

二、大数据时代背景下的教学策略

(一)营造适合学生全面发展的软硬件环境信息时代的发展使得高职院校图书馆和数据中心具备了大数据的特征。科学研究和科技创新越来越依赖于对数据的管理和利用,打造良好、适宜的软硬件环境是提高职业院校学生信息素养的基础。目前互联网技术及应用普及度较高,建设智慧校园可为学生提供更多的接触信息资源的机会。加强高职院校数据中心和网络中心的建设力度,在依托传统图书馆文献存储量的基础上,增加馆藏图文电子数据、电子文献与多媒体文献,打造信息化图书馆,为学生提供多元化的信息资源与服务。加强校园社交网络平台的建设,利用微信等新型传播媒介,采用主动推送的方式传递正能量,提供有益于学生健康成长的信息,监控、屏蔽不良信息的传播,过滤影响学生身心健康的不良信息,构建适合高职院校学生学习的良好环境。

(二)发挥数字化图书馆在教育过程中的核心作用数字化图书馆的建设是图书馆业今后发展的主要方向。数字化图书馆也是一个科技含量较高的系统工程,高职院校各级领导应正确认识,加强资金投入,充分发挥其对教育过程的支持作用。数字化图书馆的典型特征是存储数字化、操作计算机化、传递信息网络化、信息存储自由化和结构连接化,可与高职院校的基础建设可以同步推进。在建设与发展过程中,教师要积极引导学生充分利用数字化信息资源。学生在使用数字化图书馆的过程中会产生一系列的行为特征数据。通过对学学习路径和学习偏好的数据分析,根据其特点与实际量身设计合理的信息资源智慧导航,从而为学生学习新技术、新知识提供个性化的服务。

(三)加强学生创新能力的培养在知识经济时代,创新决定着一个国家和民族的综合实力和核心竞争力。培养具有创新能力、实践能力的高素质技能人才,是高职院校人才培养的一个重点方向,也是高职办学的特色及亮点。创新能力培养的关键是创新思维的培养,而创新思维的核心在于思维的独特性和新颖性。在大数据时代,学生面临众多数据资源。教师需要对学生提供专业的指导,让学生学会利用互联网技术和计算机软件工具解决实际问题,在解决问题的过程中培养创新思维。高职院校应努力营造创新教育环境,结合创新教育,大力推进素质教育。将“小发明、小创造”“大学生实践技能展演”“大学生才艺展示”等活动纳入校园文化活动中。组织学生参加各行业举办的职业技能大赛,实现从应试教育向素质教育的转轨,培养实用型、创新型的复合技能人才。充分重视学生的个性发展,建立专业的师资队伍对学生的创造发明活动给予强有力的技术指导。对于技术含量高的、有市场推广价值的创造发明活动,要引导学生进行自主创业,带动就业。加大创新教育课程的开发与建设力度,强化学生创新能力的培养。

(四)培养学生对信息技术的兴趣与爱好兴趣是最好的老师,是激发学生学习积极性的动力,是激发创新能力的必要条件。学生只有对身边的事物发生了兴趣,才会活跃思维,激发潜力。在课程设计中加入了生动、形象、贴近工作、贴近生活的典型案例,可以有效地激发学生的学习兴趣,让学生乐在其中,愉快地完成学习任务。教学实践环节也应紧密围绕着学生熟悉的事物、案例来开展教学。授课教师应了解信息技术在行业的实际应用状况,根据不同专业的特点,结合学生,的知识体系结构精心准备授课内容,确定课程的重难点。在教学过程中,通过师生互动了解学生对课程内容的掌握程度,因材施教、精选案例、突出重点,从培养学生兴趣与爱好入手,让学生在轻松、愉悦的课堂教学中学习信息技术在专业领域的最新应用,了解最新的前沿学科理念,学握较新的实用技术。教师如果在教学活动中能及时、准确地解决学生在学习实践中遇到的疑难,并指导他们完成实训内容,将有助于学生在学习过程中获得成就感,激发学习的积极性、主动性和创造性。教师动手实践能力将使得更多的学生得到有效指导和帮助,实现高质量的课堂教学。

(五)探索高效教学模式根据高职人才培养目标的要求,计算机课程的教学需要与时俱进,随着各行业大数据产业的不断发展与应用而不断进行调整、创新。通过对学生在校期间学习、生活的轨迹进行搜集、整理,形成基础数据,进而分析他们的学习行为、学习喜好和思维模式,制定适合他们全面发展的教学方法,有针对性地培养和提高他们的计算机应用能力。利用各种辅助软件,开展行之有效的教学实践活动,让学生在“做中学,学中做”。提高各专业学生的计算机应用操作能力,使他们掌握互联网技术、计算机信息技术、电子商务等。以医学影像技术专业为例,学生既要学会影像阅片操作,又要掌握最新的X线机、CT、MRI等先进检查设备的使用与操作。如果能够将医学影像技术专业与计算机应用实践教学相结合,找出两者的学科交叉点,构建适合时展需要的复合型人才培养模式,将会起到事半功倍的作用。在大数据的背景下,各行各业都需要利用信息技术,特别是数据库技术、大数据分析技术,用以改变生产、经营、管理、工作、生活等的方式。因此各专业的毕业生都面临着行业对大数据的使用与开发的迫切需求。培养学生解决问题的实际操作能力,显得尤为重要。在专业课程的教学中,通过对大数据的应用与计算机应用技术的渗透,不但能激发学生学习专业技能的积极性,而且可以引导学生形成应用计算机解决专业问题的思维模式,对他们将来适应大数据环境下工作具有积极的引导意义。以专业培养目标为基础,合理对计算机课程进行设置与安排教学,将大数据知识、信息技术知识、计算机应用知识融入到各课程的教学中,构建适合高职类学生学习特点的高效教学模式。

(六)加强师资队伍建设加强师资队伍建设是提高学生计算机应用能力的关键。计算机应用基础课程的教师,首先应该是计算机应用方面的专家,既能掌握扎实的理论基础知识,又能熟练地操作计算机,善于使用相关行业软件。在教学中能够起到良好的操作示范作用,给予学生无形的感染力和号召力,增强学习的主动性与积极性。在实践教学过程中,计算机任课教师不仅要与专业课教师紧密合作,整合校内已有的专业资源和信息技术资源,充分利用好大数据,而且要与行业、企业加强联系,采取走出去、引进来的方式,让学生在校期间就能充分接触各种面向实际应用的信息技术产品与工具。学校要制定行之有效的师资队伍培养计划,紧密结合企业、行业的实际需求,建设“双师型”教师队伍,加强现代信息技术应用能力培训。教师应深入企业、行业,了解企业人才需求,了解企业使用的最新应用软件动态与进展,充分利用好企业、行业大数据资源的研究最新成果,更新知识结构,提高实践操作水平。

第4篇

1.计算机网络安全概述。

计算机网络安全,是指利用相关网络管理控制与技术,确保在一个网络环境中数据的完整性、保密性及可用性。计算机网络安全,主要包括逻辑安全与物理安全两个方面,其中,逻辑安全包括数据的保密性、完整性及可用性,防止没有经过授权对数据进行随意篡改或破坏的行为;物理安全包括相关设备与设施在受到物理保护的条件下保护设备上的数据免于丢失、破坏。

2.计算机网络存在的主要安全问题。

目前,计算机已经广泛应用于各行各业,人们对计算机网络的认识与利用水平也显著提升,办公、社交、生活等方方面面都离不开计算机网络。计算机网络在丰富和改变人们生活的同时,其存在的安全问题也不得不让人们警醒,经过笔者梳理,计算机网络安全问题主要存在以下几个方面:

1)网络病毒所导致的安全问题。

在计算机网络技术快速发展的过程中,也出现了越来越多、感染力越来越强的新病毒,它们无时无刻地影响着计算机网络的安全。由于计算机网络病毒具有复制性,能够感染其他程序和软件,因此,一旦计算机中了病毒,其所运行的每一步都将是危险的,都会存在让病毒也随之运行并产生破坏行为,然后应用程序被破坏,机密数据被盗用或被破坏,甚至让整个计算机系统瘫痪。

2)人为操作失误所导致的安全问题。

在人们进行计算机相关操作过程中,人为操作失误可能会引起计算机的安全漏洞,或者泄露了某些重要的信息,而这些信息一旦被不发分子所利用,便会造成难以挽回的损失。

3)网络黑客攻击所导致的安全问题。

在大数据时代下,网络黑客对计算机网络的攻击具有更隐蔽、破坏性更强的特点。由于在大数据时代下,网络黑客通过非正常手段窃取到某一重要数据时,一旦其利用这些数据进行非法行为时便会引起巨大的波及。同时,在海量的数据中,难以及时识别网络黑客的攻击行为,对于计算机网络安全而言是一种严重的威胁。

4)网络管理不到位所导致的安全问题。

在网络安全维护中,网络安全管理是非常重要的环节,但是目前很多使用计算机的个人乃至企业、政府部门并没有对网络安全管理引起足够的重视,从事使得计算机网络的安全受到各种威胁,最终导致大量的计算机网络安全事件频繁发生。五是,网络系统自身的漏洞所导致的安全问题。理论上而言,一切计算机网络系统都存在某些漏洞。同时,在用户使用各类程序、硬件过程中由于人为疏忽也会形成一些网络系统漏洞。二者相比,后者的破坏性常常是巨大的,很多不法分子通过非法途径给用户造成计算机系统漏洞,进而窃取用户信息,给用户造成巨大的损失。

二、大数据时代下的计算机网络安全防范对策

1.加强病毒治理及防范工作。

在大数据时代,计算机病毒的种类与数量与日俱增,对其进行治理与防范是较为困难的。在对计算机病毒进行治理与防范时,笔者认为最重要的是防范,这种防范是一种主动的、积极的治理,可以通过加强计算机防火墙部署来提高网络环境的安全性,将那些不稳定的、危险的网络因素隔离在外,进而实现对网络环境的安全保护。同时,计算机使用者树立正确的病毒防范意识,在计算机日常使用中,能够定期利用杀毒软件对所使用的计算机网络环境进行杀毒,并更新病毒样本库,进而确保对计算机网络的扫描能及时识别计算机病毒并进行及时的处理。

2.加强黑客防范工作。

隐藏在大数据背后的网络黑客一旦实施其不法行为,常常会产生巨大的安全问题,因此,为了防范计算机网络安全,应当积极整合大数据的海量信息优势,建立科学的网络黑客防范攻击的模型,以此来提升识别网络黑客的反应速度。通过加强计算机网络的内外网的割离、加强防火墙配置,能够有效降低黑客攻击的可能性。同时,还可以大力推广数字认证技术,加强对访问数据的有效控制,并合理认证,有效避免非法目的用户的非法访问,进而提升对网络安全的有效保护。

3.加强网络安全管理。

使用计算机的个人及机构,需要从思想上高度重视网络安全管理的重要性,在熟悉大数据的特征与性能的基础上采取安全的管理措施,时常关注网络安全管理,从技术上给予网络安全保障的同时,还需要通过有效的网络安全管理来实现大数据时代下计算机网络安全的防范目的。对于机构而言,需要从宏观上认识到网络安全管理的重要性,并建立动态的、有序的、系统的管理规章,依托于云计算技术构建一个更加高级的智慧平台来加强网络安全的防范,进而确保网络安全。对于个人而言,需要从主观上认识到网络安全的重要行,在进行计算机操作中,要养成规范化的、文明的使用计算机网络的习惯,尤其是对于一些钓鱼网站、非法链接,要从主观上认识到其危害,并做自我做起,将网络安全问题尽可能消灭,不传播有安全隐患的信息或链接。

4.加强网络系统漏洞的修复工作。

第5篇

大数据必将给教育带来巨大的改变,曾经依靠经验和灵感的授课过程,将被以数据分析为主的决策分析所代替。而计算机教学既是大数据技术的传播载体,更是最应率先应用大数据技术的课程。无论如何,大数据已经就在我们眼前,已经悄然改变着教学过程,也必将深度改变学校的计算机教育模式。

(一)计算机教学内容的变化

随着大数据技术的发展和大数据分析的成熟,大数据技术及应用必然会成为各高校重要课程。现在,美国的学校已经开设相关课程,比如,大数据分析统计基础、大数据分布式计算、大数据挖掘与机器学习等。国内一些高校也正在尝试开设大数据课程,帮助学生了解大数据,学数据分析。下一步,大数据基础、大数据分析、大数据处理的核心技术等等,必将成为计算机专业的必学内容,也会成为高校重要的基础课程。另外,计算机智能教学系统和教育测评软件将更多地使用在教学中,以记录学生的学习轨迹。而计算机专业的教师也必须熟练掌握大数据技术和分析方法。

(二)计算机教学思维的变化

原来的计算机教学基本是灌输式教学,老师教授的是计算机基础知识、C语言编程的模式、数据库的基本架构,等等。大数据和互联网的发展必然会改变这种授课方式,使知识的接受方式呈现多元化倾向。随着移动互联的发展,学生可以随时随地通过互联网更便捷的获取学习内容。而课堂上单纯的照本宣科、按部就班将不能吸引学生的注意力。因此,教师必须转变教学思维,以更多的案例和互动式教学,引导学生去寻找解决问题的办法,寻找“芝麻开门”的钥匙,只有如此才能让学生有兴趣待在课堂。同时,大数据带来的将是对海量教学案例的数据分析,让教师对计算机教学的难点及教授方法优劣有了更加清晰的认识,不必依靠教学经验去判断教学效果,完全可以驾轻就熟地进行互动教学,启发学生寻找最优解决方案,将是大数据时代下计算机教学的突出特点,这是对计算机专业教学思维带来的革命性变化。

(三)计算机教学模式的变化

目前,计算机教学主要模式是备课—教授—上机—测试,教师主要的精力放在了课前备课。而大数据技术的应用,将会让教师把更多的精力放在课后分析上,形成“备课—教授—上机—测试—数据分析—改进”的模式。在这个模式中,课后的数据分析将是整个教学过程的关键环节。通过大数据分析,可以对一个班的学生进行整体学习行为评价,可以对学生上机测试情况进行细化分析,可以对每个学生的学习习惯进行学习评估,分析学生的学习中偏好、难点以及共同点等,从而得出学习过程中的规律,改进教学方式,提高教学质量。

(四)个性化教学的深入开展

大数据技术的发展,使建立覆盖学生学习全过程、全要素的信息库成为可能,学生大量的试卷、课堂表现留存,学生的学习经历及成长轨迹,学生的家庭情况等等,都将被涵盖在大数据分析中。另外,前述的计算机智能教学系统和教育测评软件,将详细记录学生每次答题的背景、过程和结果。这些信息让教学分析变得更加容易,教师可以利用数据挖掘的关联分析和演变分析等功能,依靠学生的某些学习特征,比如答题持续时间,具体回答步骤和内容(可以细化到每次击键和每个笔划),答对的要素和答错的要素等等,在学生管理数据库中挖掘有价值的数据,并分析学生的日常行为,研究各种行为的内在联系,来据此形成针对学生个性化的教学策略,以帮助学生在学习方面取得更大的突破。

二、小结

第6篇

大数据背景下的机器算法

专业

计算机科学与技术

学生姓名

杨宇潇

学号

181719251864

一、 选题的背景、研究现状与意义

为什么大数据分析很重要?大数据分析可帮助组织利用其数据并使用它来识别新的机会。反过来,这将导致更明智的业务移动,更有效的运营,更高的利润和更快乐的客户。

在许多早期的互联网和技术公司的支持下,大数据在2000年代初的数据热潮期间出现。有史以来第一次,软件和硬件功能是消费者产生的大量非结构化信息。搜索引擎,移动设备和工业机械等新技术可提供公司可以处理并持续增长的数据。随着可以收集的天文数据数量的增长,很明显,传统数据技术(例如数据仓库和关系数据库)不适合与大量非结构化数据一起使用。 Apache软件基金会启动了第一个大数据创新项目。最重要的贡献来自Google,Yahoo,Facebook,IBM,Academia等。最常用的引擎是:ApacheHive / Hadoop是复杂数据准备和ETL的旗舰,可以为许多数据存储或分析环境提供信息以进行深入分析。 Apache Spark(由加州大学伯克利分校开发)通常用于大容量计算任务。这些任务通常是批处理ETL和ML工作负载,但与Apache Kafka等技术结合使用。

随着数据呈指数级增长,企业必须不断扩展其基础架构以最大化其数据的经济价值。在大数据的早期(大约2008年),Hadoop被大公司首次认可时,维护有用的生产系统非常昂贵且效率低下。要使用大数据,您还需要适当的人员和软件技能,以及用于处理数据和查询速度的硬件。协调所有内容同时运行是一项艰巨的任务,许多大数据项目都将失败。如今,云计算已成为市场瞬息万变的趋势。因为各种规模的公司都可以通过单击几下立即访问复杂的基础架构和技术。在这里,云提供了强大的基础架构,使企业能够胜过现有系统。

二、 拟研究的主要内容(提纲)和预期目标

随着行业中数据量的爆炸性增长,大数据的概念越来越受到关注。 由于大数据的大,复杂和快速变化的性质,许多用于小数据的传统机器学习算法不再适用于大数据环境中的应用程序问题。 因此,在大数据环境下研究机器学习算法已成为学术界和业界的普遍关注。 本文主要讨论和总结用于处理大数据的机器学习算法的研究现状。 另外,由于并行处理是处理大数据的主要方法,因此我们介绍了一些并行算法,介绍了大数据环境中机器学习研究所面临的问题,最后介绍了机器学习的研究趋势,我们的目标就是研究数据量大的情况下算法和模型的关系,同时也会探讨大部分细分行业数据量不大不小的情况下算法的关系。

三、 拟采用的研究方法(思路、技术路线、可行性分析论证等)

 1.视觉分析。大数据分析用户包括大数据分析专业人士和一般用户,但是大数据分析的最基本要求是视觉分析。视觉分析直观地介绍了大数据的特征,并像阅读照片的读者一样容易接受。 2.数据挖掘算法。大数据分析的理论中心是数据挖掘算法。不同的数据挖掘算法依赖于不同的数据类型和格式来更科学地表征数据本身。由于它们被全世界的统计学家所公认,因此各种统计方法(称为真值)可以深入到数据中并挖掘公认的值。另一方面是这些数据挖掘算法可以更快地处理大数据。如果该算法需要花费几年时间才能得出结论,那么大数据的价值是未知的。 3.预测分析。大数据分析的最后一个应用领域是预测分析,发现大数据功能,科学地建立模型以及通过模型吸收新数据以预测未来数据。 4.语义引擎。非结构化数据的多样化为数据分析提出了新的挑战。您需要一套工具来分析和调整数据。语义引擎必须设计有足够的人工智能,以主动从数据中提取信息。 5.数据质量和数据管理。大数据分析是数据质量和数据管理的组成部分。高质量的数据和有效的数据管理确保了分析结果在学术研究和商业应用中的可靠性和价值。大数据分析的基础是前五个方面。当然,如果您更深入地研究大数据分析,则还有更多特征,更深入,更专业的大数据分析方法。

四、 论文(设计)的工作进度安排

2020.03.18-2020.03.20 明确论文内容,进行相关论文资料的查找与翻译。2020.04.04-2020.04.27:撰写开题报告 。

2020.04.28-2020.04.30 :设计实验。

2020.05.01-2020.05.07 :开展实验。

2020.05.08-2020.05.15 :准备中期检查。

2020.05.16-2020.05.23:根据中期检查的问题,进一步完善实验2020.05.24-2020.05.28 :完成论文初稿。

2020.05.29-2020.06.26 :论文修改完善。

 

五、 参考文献(不少于5篇)

1 . 王伟,王珊,杜小勇,覃雄派,王会举.大数据分析——rdbms与mapreduce的竞争与共生 .计算机光盘软件与应用,2012.被引量:273.

2 . 喻国明. 大数据分析下的中国社会舆情:总体态势与结构性特征——基于百度热搜词(2009—2 012)的舆情模型构建.中国人民大学学报,2013.被引量:9. 3 . 李广建,化柏林.大数据分析与情报分析关系辨析.中国图书馆学报,2014.被引量:16.

4 . 王智,于戈,郭朝鹏,张一川,宋杰.大数据分析的分布式molap技术 .软件学报,2014.被引量:6.

5 . 王德文,孙志伟.电力用户侧大数据分析与并行负荷预测 .中国电机工程学报,2015.被引量:19.

6 . 江秀臣,杜修明,严英杰,盛戈皞,陈玉峰 ,郭志红.基于大数据分析的输变电设备状态数据异常检测方法 .中国电机工程学报,2015.被引量:8.

7 . 喻国明. 呼唤“社会最大公约数”:2012年社会舆情运行态势研究——基于百度热搜词的大 数据分析.编辑之友,2013.被引量:4.

六、指导教师意见

 

 

 

 

 

 

 

 

签字:                  年     月    日

七、学院院长意见及签字

 

 

 

 

 

 

 

第7篇

1.1大数据的发展

通过对大数据的汇集、智能分析和挖掘技术,发现数据中的潜在价值信息,帮助人们做出正确决策,这就是大数据产业的利益。国外大数据的起步比较早,比较成功的大数据应用案例有:商业龙头沃尔玛公司通过对消费者的购物数据进行分析,了解顾客的行为喜好,对超市的商品结构进行搭配重置以增加销售额;亚马逊公司通过大数据构建自己的推荐系统,每年可以靠此多收益20%;奥巴马通过大数据分析系统进行数据挖掘,用科学的手段获取选票、募集资金,赢得了总统竞选的胜利。相比于国外,国内的大数据研究和应用还处于起步和发展中的阶段,比较成功的案例有:淘宝数据魔方平台,通过大数据,为买家量身打造完善的购物体验产品;新浪微博大数据产品,通过大量的社交数据,创造不同的社会经济价值等。

1.2云计算的发展

云计算可以像电力资源一样提供弹性的按需服务,事实上它是集合了一系列的服务提供给用户。云计算的核心可分为三个层次,分别为基础设施层、平台层、应用层,如图2所示。云计算将基础设施、软件运行环境、应用程序抽象成服务,具有可靠性高、可用性强、规模可伸缩等特点,满足了不同企业的发展需求,各个云服务提供商根据各自服务对象的差别分别开发了各具特色的云服务。(1)基础设施即服务层基础设施即服务(InfrastructureasaService,IaaS)层通过部署硬件基础设施对外提供服务,用户可以根据各自的需求购买虚拟或实体的计算、存储、网络等资源。用户可以在购买的空间内部署和运行软件,包括操作系统和应用程序。消费者不能管理或控制任何云计算基础设施,但能控制操作系统的选择、存储空间、部署的应用,也有可能获得有限制的网络组件(如防火墙、负载均衡器等)的控制。云服务提供商为了使硬件资源得到更有效的利用,引入了Xen、KVM、VMware等虚拟化技术,使得云服务商可以提供更个性化的IaaS服务。亚马逊弹性云计算(AmazonElasticComputeCloud,AmazonEC2)是亚马逊Web服务产品之一,AmazonEC2利用其全球性的数据中心网络,为客户提供虚拟主机服务,让使用者可以租用云服务运行所需应用的系统。(2)平台即服务层平台即服务(PlatformasaService,PaaS)层是指云计算应用程序开发和部署的平台,包括应用设计、应用开发、应用测试和应用托管,都作为一种服务提供给客户。开发者只需要上传代码和数据就可以使用云服务,而无需关注底层的具体实现方式和管理模式。鉴于PaaS平台的重要意义,国内外厂商根据各自的战略提出了相应的PaaS平台,国外的如GoogleAppEngine(GAE),通过GAE,即使在重载和数据量极大的情况下,也可以轻松构建能安全运行的应用程序。国内也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)软件即服务层软件即服务(SoftasaService,SaaS)层是为云计算终端用户提供基于互联网软件应用服务的平台。随着Web服务、HTML5、AJAX、Mashup等技术的成熟与标准化,SaaS应用近年来发展迅速,典型的SaaS应用包括GoogleApps、SalesforceCRM等。国外云计算平台比较成功的应用案例有:亚马逊电子商务网站根据用户的购买行为和搜索技术搭建Hadoop集群,构建推荐系统;Twitter社交网站搭建Hadoop分布式系统用于用户关联的建立。国内云计算平台的成功案例有:阿里巴巴目前整个集群达到1700个节点,数据容量达到24.3PB,并且以每天255TB的速率不断攀升;2013年,华为推出国内首个运营云平台,目前为止与该平台签订协议的ISV有3000多家。

1.3云计算相关技术

(1)分布式文件系统分布式文件系统(GoogleFileSystem,GFS)[3]是Google公司针对云计算过程处理海量数据而专门设计的。一个GFS集群由一个主节点和多个从节点组成,用户可以通过客户端访问文件系统,进行正常的文件处理工作。在云计算中,海量数据文件被分割成多个固定大小的数据块,这些数据块被自动分配到不同的从节点存储,并会在多个节点进行备份存储,以免数据丢失。主服务器管理文件系统记录文件的各种属性,包括文件名、访问控制权限、文件存储块映射、块物理信息等数据。正是通过这个表,文件系统可以准确地找到文件存储的位置,避免数据丢失,保证数据安全。图3是GFS的体系结构示意,每一个节点都是普通的Linux服务器,GFS的工作就是协调成百上千的服务器为各种应用提供服务。(2)分布式并行数据库BigTableBigTable[4]是一个为管理大规模结构化数据而设计的分布式存储系统,可以扩展到PB级数据和上千台服务器。很多Google的项目使用BigTable存储数据,这些应用对BigTable提出了不同的挑战,比如对数据规模的要求、对时延的要求。BigTable能满足这些多变的要求,为这些产品成功地提供了灵活、高性能的存储解决方案。BigTable采用的键是三维的,分别是行键(RowKey)、列键(ColumnKey)和时间戳(Timestamp)。行键和列键都是字节串,时间戳是64位整型;值是一个字节串,可以用(row:string,column:string,time:int64)string来表示一条键值对记录。(3)分布式计算框架MapReduceMapReduce[5]是Google公司提出的大数据技术计算框架,被广泛应用于数据挖掘、海量数据处理以及机器学习等领域,由于其并行化处理数据的强大能力,越来越多的厂商根据MapReduce思想开发了各自的云计算平台,其中以Apache公司的Hadoop最为典型。MapReduce由Map和Reduce两个阶段组成。用户只需要编写简单的map()和reduce()函数就可以完成复杂分布式程序设计,而不用了解计算框架的底层实现。MapReduce的数据分析流程如图4所示。分布在不同服务器节点上的海量数据首先通过split()函数被拆分成Key/Value键值对,map()函数以该键值对为输入,将该键值对进行函数处理,产生一系列的中间结果并存入磁盘。MapReduce的中间过程shuffle()将所有具有相同Key值的键值对传递给Reduce环节,Reduce会收集中间结果,并将相同的Value值合并,完成所有工作后将结果输出给用户。MapReduce是一个并行的计算框架,主要体现在不同的服务器节点同时启动相同的工作,并且在每个独立的服务器节点上又可以启动多个map()、reduce()并行计算。

2基于云计算的大数据处理

目前大数据处理的基本流程如图5所示,整个流程经过数据源的采集,用不同的方式进行处理和加工,形成标准的格式,存储下来;然后用合适的数据计算处理方式将数据推送到数据分析和挖掘平台,通过有效的数据分析和挖掘手段,找出大数据中有价值的信息;最后通过可视化技术将信息展现给人们。

2.1数据采集存储

大数据具有不同结构的数据(包括结构、半结构、非结构),针对不同类型的数据,在进行云计算的分布采集时,需要选择不同的数据采集方式收集数据,这也是大数据处理中最基础的一步。采集到的数据并不是都适合推送到后面的平台,需要对其进一步处理,例如来源不同的数据,需要对其进行加载合并;数据存在噪声或者干扰点的,需要对其进行“清洗”和“去噪”等操作,从而保障数据的有效性;数据的格式或者量纲不统一的,需要对其进行标准化等转换处理;最后处理生成的数据,通过特定的数据库,如NoSQL数据(Google的BigTable,Amazon的Dynamo)进行存储,方便进行下一步的数据读取。由于传统的数据仓库无法适应大数据的存储要求,目前基于云计算的数据仓库都是采用列式存储。列式存储的数据具有相同的数据类型,可以大大提高数据的压缩率,例如华为的云存储服务MOS(MassiveObjectService)的数据持久性高达99.9%,同时提供高效率的端到端保障。

2.2数据计算模式

这一环节需要根据处理的数据类型和既定目标,选择合适的计算模型处理数据。由于数据量的庞大,会消耗大量的计算资源,因此,传统的计算技术很难使用大数据的环境条件,取而代之的是分而治之的分布式计算模式,具有代表性的几种计算模式的特点见表1。采用批处理方式计算的Hadoop平台,例如,Facebook拥有全球最大规模的Hadoop集群,集群机器目前超过3000台,CPU核心更是超过30000个,可以存储的数据量能够达到惊人的40PB;采用流处理方式计算的Storm平台分布式计算的时延比Hadoop更小;实时处理方式计算的Spark是一种基于内存的计算模式,例如,Yahoo运用Spark技术在广告营销中实时寻找目标用户,目前在Yahoo部署的Spark集群有112台节点和9.2TB内存;交互处理方式计算的Dremel在处理PB级别的数据时耗时可以缩短至秒级,并且无需大量的并发。

2.3数据分析挖掘

数据分析挖掘环节是从海量数据中发现隐藏规律和有价值信息的过程,这个环节是大数据处理流程最为有价值和核心的部分,传统的数据分析方法有机器学习、商业智能等。传统的数据挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云计算环境下都得到了大幅度的并行优化,在大数据的背景下,计算速度得到了很大程度的提升。现在新兴的深度学习是原始机器学习的一个新领域,动机是在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,这种新的数据分析挖掘技术已经在计算机视觉、语音识别、自然语言处理等领域有了成功的应用。

2.4数据解释展现

将挖掘出来的复杂信息进行数据解释和展现是整个大数据处理流程的最后一个环节,数据分析的结果需要向客户进行恰当的展现。与传统的数据输出和文本展示等方式不同,现在绝大部分的企业都通过引进“数据可视化”技术来展示大数据分析的结果信息,这种方式以图像、动画等方式,形象地向客户展现数据处理分析的结果,也容易被客户理解和接受,更为先进的是,现在逐步形成的“交互式可视化技术”,大大地方便了数据与人之间的“亲密交流”。目前面向大数据主流应用的可视化技术见表2。

3大数据和云计算的未来挑战

大数据需要超大存储容量的计算能力,云计算作为一种新的计算模式,为大数据的应用研究提供了技术支持,大数据和云计算的完美结合,相得益彰,发挥了各自的最大优势,为社会创造了巨大的价值。虽然国内大数据和云计算的研究还是处于初步阶段,但随着研究的不断进行,所面临的问题也越来越多。在大数据向前不断迈进的阶段里,如何让我们对大数据的研究朝着有利于全人类的方向发展成为了重中之重。

3.1重要战略资源

在这个信息社会里,大数据将会成为众多企业甚至是国家层面的重要战略资源。国家层面要将大数据上升为国家战略。奥巴马在2012年3月将“大数据战略”上升为最高国策,像陆权、海权、空权一样,将数据的占有和控制作为重要的国家核心能力。大数据资源也会成为各种机构和企业的重要资产以及提升企业社会竞争力的有力武器。在大数据市场里,客户的各种数据信息都会为企业创造价值,也会在促进消费水平、提高广告效应等方面扮演重要的角色。

3.2数据隐私安全

大数据如果运用得当,可以有效地帮助相关领域做出帮助和决策,但若这些数据被泄露和窃取,随之而来的将是个人信息及财产的安全问题得不到保障。2011年索尼公司遭到黑客攻击,造成一亿份客户资料泄露,经济亏损约1.71亿美元。为了解决大数据的数据隐私安全问题,Roy等在2010年提出了一种隐私保护系统,将信息流控制和差分隐私保护技术融入到云计算平台中,防止MapReduce计算过程中的数据泄露问题。在数据更新飞速的情况下,如何维护数据的隐私安全成为大数据时代研究的重点方向。

3.3智慧城市

人口的增长给城市交通、医疗、建筑等各方面带来了不小的压力,智慧城市就是依靠大数据和云计算技术,实现城市高效的管理、便捷的民生服务、可持续的产业发展。在刚刚结束的“两会”的政府工作报告中,总理也特意强调了智慧城市发展的重要性,目前国家智慧城市试点已遍布全国各地,多达409个。智慧安防、智慧交通、智慧医疗等都是智慧城市应用领域。智慧城市的建设也趋使大数据人才的培养。据预测,到2015年,大数据将会出现约100万的人才缺口,全球将新增440万个与大数据相关的工作岗位来填补这个空缺。

3.4能源消耗