共查询到20条相似文献，搜索用时 359 毫秒
1.
基于用户的协同过滤推荐算法是应用范围广且应用效果较好的推荐算法之一。传统单机模式下运行的基于用户的协同过滤推荐算法在面对海量数据时存在严重的性能瓶颈问题,很难满足实际计算需求,而基于MapReduce的并行计算框架为解决该问题提供了新思路。MapReduce是Hadoop开源框架的核心计算编程模型, MapReduce的设计目标是方便编程人员在不熟悉分布式并行编程的情况下,可将自己的程序运行在分布式系统上。根据基于用户的协同过滤推荐算法特点,提出MapReduce并行化实现方法。实验结果表明,在MapReduce并行计算框架下实现的基于用户的协同过滤推荐算法在算法性能及稳定性方面都取得了理想效果。 相似文献
2.
三维渲染是电影、动画和游戏制作所需的重要工具,耗费大量时间和资源,是计算密集和数据密集的复杂过程。分布式渲染是目前提高渲染效率最有效可行的手段之一。提出了一套基于SparkMapReduce的分布式渲染系统,该系统使用由集群资源管理器ApacheMesos、支持内存驻留的MapReduce计算框架Spark、分布式Hadoop文件系统构成的分布式计算集群。在这个集群之上,设计并实现一个符合MapReduce算法工作模式的渲染接口程序,用于调用外部渲染程序Blender实现单帧渲染任务。测试结果表明,基于SparkMapReduce框架的分布式渲染能够显著提高渲染速度,减轻开发所需工作量。 相似文献
3.
《西安文理学院学报》2015,(4)
针对经典的Apriori算法需要多次扫描数据库,不适合大规模数据这个问题,提出了一种改进的Apriori算法.该算法采用布尔向量关系运算思想,将事务数据库扫描后转化成压缩矩阵,在MapReduce框架下将压缩矩阵进行分块,每块分别被做并列式处理.利用分压缩矩阵快速计算所有的候选项集,从中产生频繁K-项集,降低了Apriori算法的时间复杂度. 相似文献
4.
HadoopMapReduce平台非常适合并行的数字图像处理技术的开发。但是由于Hadoop内置数据类型有限,不能直接利用MapReduce框架进行图像处理。根据MapReduce模型数据流的特征,设计了支持图像文件的Hadoop数据类型。 相似文献
5.
《佳木斯教育学院学报》2018,(1)
框架式软件工程是借助于搜索算法来对复杂问题进行自动与半自动求解的。本文通过对软件的整个生命周期进行分析,建立了基于量子搜索的框架式软件工程的构建方法,以此提高框架式软件的搜索性能。构建研究结果表明,利用量子搜索算法与Grover迭代能够使框架式软件的搜索优化算法效率得到显著提高,并且具备较强的通用性。 相似文献
6.
王晨阳 《福建工程学院学报》2019,(4):365-370
设计一个迭代的MapReduce并行计算工作流,用于分析快消品电商网站的搜索引擎日志。该工作流根据每次检索在商品品牌字段上的层面搜索结果,挖掘关键字检索和品牌检索热度之间的潜在相关性,为关键字检索计算出其对品牌层面搜索结果集中各品牌的检索热度贡献值,最后对品牌检索热度贡献值列表进行归并计算得到各个品牌的检索热度排名并取Top-N。 相似文献
7.
8.
针对大数据处理框架MapReduce中的任务调度问题,提出一种基于Markov决策过程（Markov Decision Process,MDP）的任务调度算法,通过状态集来描述集群中节点的负载和作业的数据本地性需求,使用状态转移函数表示调度策略对状态的影响,采用值迭代求解算法求取最优策略,实现集群中节点的最优调度．实验结果表明,该算法能够保证数据本地性的同时,减少作业响应时间,提高系统综合性能． 相似文献
9.
面对大规模数据量的快速响应和处理,尤其是以Web网页和数据搜索为主的当下电子商务等互联网应用的瓶颈,引入MapReduce计算模型改变对大数据的处理方式,是目前较为有效的解决方法。分析研究MapReduce计算模型的特点,进一步拓展MapReduce计算模型,改进大规模数据处理,为高效提升互联网应用奠定良好的大数据基础。 相似文献
10.
针对Kmeans算法对海量数据聚类效率过低的不足,基于Hadoop的分布式架构思想,提出一种多核果蝇-Kmeans聚类算法（MKFOA-Kmeans）。以每次迭代后果蝇位置为聚类中心进行一次Kmeans聚类算法,综合了果蝇优化算法强全局搜索能力以及Kmeans算法强局部搜索能力的优点。MapReduce框架简化了算法执行过程,避免了由于存储空间不足而造成的算法失效。在由普通硬件搭建的Hadoop平台下进行仿真实验,表明MKFOA-Kmeans算法对大数据的聚类准确率高,并且随着数据量的增加,聚类效率优势也愈加明显。 相似文献
11.
提出基于云计算平台（以Hadoop为例）应用布尔矩阵Apriori算法进行大数据关联规则挖掘的MR_B_Apriori算法。将Hadoop平台与布尔矩阵Apriori算法相结合,利用MapReduce框架分块处理布尔矩阵,计算出分块数据的频度,合并融合得到大数据集的频繁项集。分析表明MR_B_Apriori算法能够适用于大数据的频繁项集挖掘。 相似文献
12.
首次引进涉及渐近非扩张映象T的显式迭代xn＋1=αnf（xn）＋（1-αn）T^nxn,其中,是压缩映象在自反Banaeh空间框架下,获得了该迭代序列强收敛于T的一不动点的充要条件．将此结果应用到保核收缩映象,又获得一新的强收敛判定法. 相似文献
13.
针对信息化时代海量数据的问题,神秘大象——hadoop的出现给云计算领域带来了新的浪潮。针对hadoop框架,采用基于Hadoop的子项目Hive对其性能进行测试,并总结了决定MapReduce分布式计算性能的因素。 相似文献
14.
旅行时间是交通系统中一个重要的测量指标,精确的旅行时间预测对智能交通系统和先进交通信息系统发展有重要意义。数据采集技术为旅行时间计算提供了海量实时交通数据,如何利用海量实时交通数据精确且快速预测旅行时间成为当前旅行时间研究中的一个热点问题。基于海量的车牌识别数据,在Hadoop框架下,用MapReduce编程模型,应用卡尔曼滤波法实现对路段旅行时间的预测,和其它算法对比,该算法预测准确性有显著提高。 相似文献
15.
16.
针对现有序列聚类算法在对大规模数据进行聚类时,内存空间和计算时间开销较大的问题,提出了基于MapReduce的人工蜂群聚类算法。该算法通过引入MapReduce并行编程范式,快速计算聚类中心适应度,可实现对大规模数据的高效聚类。基于仿真数据对算法的聚类效果和聚类效率进行了验证。实验结果表明,与现有PK-Means算法和并行K-PSO算法相比,该算法具有更好的聚类效果和更高的聚类效率。 相似文献
17.
Spark分布式框架具有利用数据集内存缓存、启动任务的低迟延、迭代类运算、实时计算的支持和强大的函数式编程接口等特征。描述Spark 集群环境的搭建过程,将Spark 应用到预测森林植被中,对基于RDD和基于Data Frame接口的Spark随机森林算法的性能差异进行比较。实验结果表明,基于Dataset结构的随机森林法预测效果好、执行时间短,可以广泛使用。 相似文献
18.
通过二次方程的韦达定理和函数递推关系得到了三类k次分式函数的迭代式.在函数迭代式的基础上,赋予A=0,B=±1,由此得到了分式函数迭代式和三角函数,双曲函数的特殊联系,并得到了三角函数和双曲函数的展开式. 相似文献
19.
本文通过二次方程的韦达定理和函数递推关系得到了三类四次分式函数的迭代式.在函数迭代式的基础上,赋予A=0,B=±1由此得到了分式函数迭代式和三角函数,双曲函数的特殊联系,并得到了三角函数和双曲函数的展开式. 相似文献
20.
发现式学习已经在自然科学与工程教育领域得到了广泛的应用 ,但在社会科学领域并不多见。本文首先讨论了在社会科学教育与研究领域引入基于多主体的计算建模和仿真方法的必要性 ,在分析现有多主体建模与仿真平台 (工具 )优缺点的基础上 ,提出并实现了基于多主体的计算建模和仿真框架。实验结果表明 ,该框架能为构建社会科学领域的发现式学习环境提供理论和工具支持。 相似文献