首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到10条相似文献,搜索用时 15 毫秒
1.
文章通过分析传统的空间聚类算法以及新发展的聚类分析方法,最终选K-means算法进行研究。基于Hadoop平台,采用HDFS(分布式文件系统)存储数据,结合MapReduce编程模式,对K-means算法进行设计以及编程实现,最后实现了该算法在Hadoop平台上的并行化。通过实验,验证了K-means算法部署在Hadoop集群上并行化运行,在处理空间数据时,该算法有效地减少了时间复杂度,大大提高了实施效率和结果的准确性。  相似文献   

2.
三维渲染是电影、动画和游戏制作所需的重要工具,耗费大量时间和资源,是计算密集和数据密集的复杂过程。分布式渲染是目前提高渲染效率最有效可行的手段之一。提出了一套基于Spark MapReduce的分布式渲染系统,该系统使用由集群资源管理器Apache Mesos、支持内存驻留的MapReduce计算框架Spark、分布式Hadoop文件系统构成的分布式计算集群。在这个集群之上,设计并实现一个符合MapReduce算法工作模式的渲染接口程序,用于调用外部渲染程序Blender实现单帧渲染任务。测试结果表明,基于Spark MapReduce框架的分布式渲染能够显著提高渲染速度,减轻开发所需工作量。  相似文献   

3.
伍衡  林志波  于海波  高媛 《科技通报》2020,36(2):36-38,105
电网智能化可以带来整个系统效率极大的提升,并且有利用电网系统的节能环保。因而在电网智能化发展不可阻挡的情况下,本文提出了利用指定-规约编程模型的融合数据处理算法,其核心是利用指定-规约编程模型对BP算法进行优化处理,使得算法能够在Hadoop集群应用处理数据。利用Hadoop集群优势来提高大数据处理的能力,进而提高了配电网综合分析应用预测的精度与效率。  相似文献   

4.
为了提高BP神经网络算法的分类准确率和运行时间效率,利用PSO算法和并行化设计的思想,提出了Hadoop平台下基于MapReduce的PSO优化BP神经网络的并行化设计及实现方法。利用PSO算法优化BP神经网络的初始权值和阈值,提高算法分类准确率;采用MapReduce并行编程模型实现算法的并行化处理,解决了BP神经网络在处理大规模样本数据集时存在的硬件开销和通信开销大的问题。选用SUN Database场景图像库构造了5个不同规模的数据集,通过与传统的串行PSO-BP神经网络算法实验对比,并行化的PSO-BP神经网络算法分类准确率达92%左右,系统效率在0.85左右,在处理大规模数据集时具有明显的优越性。  相似文献   

5.
针对民俗文化旅游资源信息量大,单机平台存在推荐效果差的缺陷,提出了基于Hadoop平台的民俗文化旅游资源推荐系统,首先采集民俗文化旅游资源信息,信息经预处理后导入Hadoop平台的分布式文件系统中,并采用查询时间和旅游资源一致度的信息权重建立协同过滤推荐算法,然后采用MapReduce编程模型并行实现民俗文化旅游资源推荐算法,从而获得民俗文化旅游资源推荐结果,最后进行了民俗文化旅游资源推荐仿真实验,结果表明,本文系统的民俗文化旅游资源推荐精度高,而且提升了民俗文化旅游资源推荐效率,具有重要的实际应用价值。  相似文献   

6.
如何能够在云计算环境下发现、获得有效的资源是目前数据挖掘的重要研究方向,针对云计算下的Aprior算法存在的负载度强和存储空间大的缺点,提出了对云计算模型MapReduce模型进行改进,并在此基础上改进FCM算法,将数据挖掘过程分为Job1,决策,Job2三个阶段,改进后的FCM能够更加的适应云计算下的数据挖掘,通过在Hadoop平台上的实验说明本文的算法提高了效率。  相似文献   

7.
针对当前大数据环境下朴素贝叶斯文本分类算法在处理文本分类时存在的数据稀疏、分类不准及效率低的问题,本文提出了一种基于MapReduce的Dirichlet朴素贝叶斯文本分类算法。算法首先根据体征词语义因素以及类内分布情况对权重进行加权调整,以此对的计算公式进行修正;引入了统计语言建模技术中的Dirichlet数据平滑方法来降低数据稀疏对分类性能的影响,并在Hadoop云计算平台采用MapReduce编程模型实现本文算法的并行化。通过测试实验对比分析可知,本文算法显著提高了传统朴素贝叶斯文本分类算法的准确率、召回率,并具有优良的可扩展性和大数据处理能力。  相似文献   

8.
传统的蚁群算法在迭代过程中产生逆转变异,新的结点与链路也可能在任意时刻加入到云中,给电网系统云数据的云计算和故障数据预测检测带来很大难度,出现拥塞控制,导致聚类效果不好。结合云计算处理数据的特点,对传统的蚁群算法进行改进,提出一种改进的蚁群引导电网系统云数据聚类和故障检测算法,根据基因位随机数大小决定输出概率的精度,更新状态类别充分统计量,得到故障特征观测概率和初始概率,执行聚类中心更新规则。搭建的Hadoop集群云计算原型系统,在开源的云计算平台框架和HBase电网系统数据库下进行数据采集和算法实现。仿真结果表明,算法在数据聚类和故障检测中具有较好的应用性能。  相似文献   

9.
随着计算机技术的发展与信息化的普及,大规模数据处理已经成为计算机产业界的焦点问题和学术界的研究热点。Hadoop是云计算的分布式开源的实现平台,在大规模数据处理方面有着高容量、低成本等优势,也是一个运行在大型集群之上的并行处理系统。Hadoop云平台上的调度算法是对用户作业进行资源分配和调度执行的程序,它的选择合适与否直接关系到用户作业的执行效率。因此,对Hadoop上作业调度算法的研究和改进优化就显得极为重要。本文通过实验验证作业重调度具有更好的响应时间和吞吐量,具有良好的负载均衡,并且大大提高了Hadoop系统在异构平台上的性能。  相似文献   

10.
协同过滤算法是推荐系统的核心技术,针对协同过滤推荐算法在大数据规模背景下的实现问题,在分析研究Hadoop平台和传统的协同过滤算法后,提出了一种基于共词分析法的实现方案,将协同过滤算法在MapReduce框架下实现。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号