共查询到20条相似文献，搜索用时 717 毫秒
1.
随着人类产生的数据量呈指数级增长,数据的海量、多样化等特征使传统的聚类算法无法处理这些数据,而近来较为流行的Hadoop平台在处理数据的速度上也达到瓶颈。因此,专家们想要研究一种更为适合的处理平台来处理遇到的海量数据,Spark平台应运而生。首先介绍了聚类算法定义与分类,随后提出了Spark平台,包括Spark核心技术(RDD)、Spark和Hadoop的对比,并介绍了K means在Spark平台上的实现,最后总结了Spark的应用现状并对其未来发展进行了展望。 相似文献
2.
3.
Spark是一种新型分布式海量数据处理平台,在应用执行过程中,Spark以任务作为最小执行单元。因此,任务执行时间预测是指导Spark进行性能分析、优化资源调度以及故障监控的基础。在Spark平台中,由于计算数据分布不均及网络资源的共享,导致同样计算逻辑的任务在不同计算节点上执行的时间可能产生很大差异,需根据实时运行环境进行动态预测。通过结合任务在不同节点所需数据量以及集群网络状况,对任务在不同节点的执行时间进行预测。实验表明,该方法对任务进行预估,误差可保证在19%以内,任务执行时间预估算法对Spark调优有一定的指导作用。 相似文献
4.
随着数据挖掘逐渐被应用到金融、娱乐、商业和医疗等多个行业,近年来涌现出各种用于处理海量数据的数据处理引擎,如MapReduce、Spark等。为了使高校实验室更深入地进行数据挖掘领域的理论研究,简要阐述分析了Spark技术及HDFS的概念与基本原理,详细介绍了基于Spark的云计算平台配置方法和实现过程,并对平台搭建过程中遇到的问题进行总结。实验结果证明,该平台能够有效完成分布式数据处理任务。 相似文献
5.
李玲瑞 《洛阳师范学院学报》2013,(11):64-68
从云计算的定义与云存储的数据模型,GML的空间数据特征等方面探究云计算环境下GML空间数据存储方法.搭建单机与分布式的平台并对两者的存储性能进行对比,得出云计算环境下对GML空间的海量数据存储和访问采用分布式的存储优于采用单机存储的结论. 相似文献
6.
民航信息系统日志包含大量信息,但由于日志数据非结构化,不易被读取且数据量巨大,难以通过人工分析得出有价值信息。Hadoop分布式计算技术恰好可以很好地解决这个问题。设计了基于Hadoop的民航日志分析系统,系统结合数据挖掘领域经典的KNN分类算法,对算法进行了并行化改进,给出算法在Hadoop平台的MapReduce编程模型上的执行流程。对系统进行单机和集群测试,集群系统在处理较大规模数据时更高效。实验结果证明,系统具有较高的执行效率和可扩展性,对民航日志分析具有较高的实用价值。 相似文献
7.
8.
分布式内存计算平台Spark是海量数据处理领域的最新技术进展。动态资源分配下Spark可根据应用的负载情况动态地追增、关闭任务执行器。然而,关闭任务执行器会造成缓存数据丢失,导致不必要的重计算开销,该情况在Spark交互式数据查询应用中尤为常见。为尽量减少任务执行器关闭以提升查询效率,设计实现一种基于预测的Spark动态资源分配策略。该策略基于马尔科夫理论构建Spark交互式数据查询应用的非活跃期持续时间预测模型,并依据预测结果确定任务执行器的关闭时机。试验结果表明,相比既有的Spark动态资源分配策略,采用基于预测的资源分配策略可使Spark交互式数据查询效率平均提升59.34%。 相似文献
9.
为了改善传统实体解析算法在单机环境下采用人为方式设定属性权值及阈值难以对海量数据进行快速有效处理的缺点,基于Hadoop框架使用MapReduce计算模型,在多节点分布式环境下,通过不断调整网络学习属性之间的内在关系以及属性权值、阈值等参数后,再将模型放在Hive数据仓库中的真实数据集上进行有效性验证。分别使用5 000及9 000条数据进行实验,实验结果表明,基于学习的并行实体解析算法准确率、召回率和F1值较高。因此,基于学习的并行实体解析算法对于海量数据不仅能进行快速有效的处理,而且能有效降低人工经验中存在的误差,同时也能提高识别结果的准确度,提升识别效率。 相似文献
10.
随着大数据时代的到来,针对Apriori算法和FP Growth算法在挖掘海量规模数据频繁项集时,存在内存不足、计算效率低等问题,提出一种Aggregating_FP算法。该算法结合MapReduce并行计算框架与FP Growth算法,实现频繁项集的并行挖掘,对每个项进行规约合并处理,仅输出包含该项的前K个频繁项集,提高了海量数据决策价值的有效性。在Hadoop分布式计算平台上对多组规模不同的数据集进行测试。实验结果表明,该算法适合大规模数据的分析和处理,具有较好的可扩展性。 相似文献
11.
12.
互联网络与高校思想政治工作 总被引：1，自引：0，他引：1
如何运用网络技术拓展高校思想政治工作的空间，是高校思想政治工作面临的新课题，高校思想政治工作要坚持正确的舆论导向，筑起自己的网络阵地，发挥网络宣传教育功能，防范网络负面侵害提高高校思想政治工作队伍的网络素质。 相似文献
13.
新课标下的作文教学很注重学生表现内容的真实性和表达情感的真切性,但是不管是内容真实,还是情感真切,都要学生注重实践和现实感。笔者认为,这是对前一时期表现的作文弄虚作假的现象进行反思之后所做出的调整。有些学生甚至还不知道自己写的话本身所蕴含的真正意义,只是这样写就好像能提高作文的思想境界,就能得高分。而不管这些话该不该在这篇文章中出现。 相似文献
14.
有时和时而都是时间副词,且都属于不定时时间副词的类别,在语义上它们都可以表示某种动作、行为或状态在某段时间可以进行和发生,用法上既有相同之处,又有许多不同之处。 相似文献
15.
Jonathan Frye 《Cultural Studies of Science Education》2012,7(4):869-872
The stronghold that games have on our society has made it imperative that educators understand the impact that video games can have. Owens (2012) presented two frames for how the press discussed the popular game Spore, which incorporates elements of science topics. One frame suggested that the game teaches children about intelligent design, while the other implied the game merely made students excited about science topics. While this debate is nothing new, having foundations in several theoretical perspectives; educators must identify their own perceptions of video games and how even commercial games can be used as tools for teaching. 相似文献
16.
刘莉 《牡丹江教育学院学报》2008,(2):19-20
女性主义和后殖民主义之间相互影响并相互借鉴,它们在理论和实践上有不少共同之处:都源于政治实践运动;都是一种政治文化批评而非纯学理式的文学批评;同属于后现代主义思潮,深受解构主义的影响,具有反权威、去中心的颠覆性.女性主义和后殖民主义的相互影响与融合,对20世纪西方文论的发展起到了促进作用. 相似文献
17.
18.
19.
政治哲学从总体上不是空虚的概念,必须与时代的方式、存在方式。与思想文化相关联。而现代的时代,是科学技术的时代,不能回避科学技术对人的政治生活方式产生的影响。这是必须正视的问题。 相似文献
20.
当前大学生思想政治状况分析及对策研究 总被引：1，自引：0，他引：1
王锦东 《陕西教育学院学报》2005,21(4):112-115
大学生素质的核心是思想政治素质。当前大学生在思想政治上发生了一系列明显的变化，在理想与现实之间出现许多引人注目的新情况、新特点、新问题。目前，进一步加强大学生思想政治素质的着眼点应该是全面架构信仰体系，反思与“国际接轨”，力塑国家民族主体意识，做强做实实践环节，寻求全面的思想政治教育模式。 相似文献