排序方式： 共有29条查询结果，搜索用时 15 毫秒
1.
谷瑞 《苏州市职业大学学报》2013,(4):14-16,21
在对传统的推荐算法进行比较研究的基础上,结合云计算的优势,提出基于云计算的个性化推荐系统,详细阐述基于MapReduce的推荐过程.本研究为云平台下推荐系统的研究与应用提供参考. 相似文献
2.
《濮阳职业技术学院学报》2017,(5):85-88
随着信息技术的发展,基于MapReduce模型的大数据分析算法不断更新优化,出现一批典型的算法及模型。这些算法根据其自身特点可分为Map阶段算法、Reduce阶段算法和迭代算法。影响算法执行效率的因素包括数据规模、数据结构和算法流程等。不同的算法具有不同的适用范围,需要根据数据规模和应用情形进行算法选择和多种算法组合。 相似文献
3.
结合云计算平台提出了基于子集统计的关联规则算法,该算法能充分利用云计算的并行性特点,只需要扫描一次数据库,比传统的Apriori算法提高了效率,适用于大规模数据的关联规则挖掘. 相似文献
4.
海量数据的MapReduce相似度检测 总被引：1，自引：0，他引：1
张敏 《实验室研究与探索》2014,33(9):132-136
针对当前海量数据的相似重复问题,提出了MapReduce下通过SimHash算法检测相似文档的方法:即首先将存储在分布式文件系统的海量文档集进行分类,然后进行特征提取,由SimHash算法生成SimHash指纹和生成Sequence File;最后,计算相似度产生检测结果;通过实验测试可知,提出的检测方法和设计的相似度算法能很好适应海量数据相似检测,并能有效地提高工作效率。 相似文献
5.
[目的/意义] 建构云计算技术环境下的海量数据分析是一种需要预载大量数据集的数据计算处理。针对传统海量数据分析处理数据细节方式所导致的分析质量与效率问题,运用Google三大云计算技术对其进行改进。[方法/过程] 通过对Google三大云计算技术——GFS、MapReduce和Bigtable进行文献调查、内容分析和技术分析,梳理出Google云计算技术在数据处理、技术架构和算法模型等方面的部署创新和设计改进。[结果/结论] 将Google云计算技术与传统本地数据分析处理方式与细节进行比较分析,得出Google云计算技术在操作海量数据分析时所具备的处理优势。借助Google云计算三大技术,提出海量数据分析流程在存储和访问、组织与管理以及并行处理3个方面的技术优化与改进策略。 相似文献
6.
云计算通过互联网提供随需应变的资源或服务,通常依据数据中心的规模和可靠性水平而定。MapReduce是一个为并行处理大量数据设计的编程模型,在云环境中实现HadoopMapReduce框架,使用虚拟的负载平衡来改进单节点和多节点系统的性能。 相似文献
7.
HDFS;肯容错性好、传输效率高等优点。MapReduce对数据采用海量处理的方式。文章根据笔者对HDFS和MapReduce的理解发表一些自己的看法。 相似文献
8.
In Information Retrieval (IR), the efficient indexing of terabyte-scale and larger corpora is still a difficult problem. MapReduce has been proposed as a framework for distributing data-intensive operations across multiple processing machines. In this work, we provide a detailed analysis of four MapReduce indexing strategies of varying complexity. Moreover, we evaluate these indexing strategies by implementing them in an existing IR framework, and performing experiments using the Hadoop MapReduce implementation, in combination with several large standard TREC test corpora. In particular, we examine the efficiency of the indexing strategies, and for the most efficient strategy, we examine how it scales with respect to corpus size, and processing power. Our results attest to both the importance of minimising data transfer between machines for IO intensive tasks like indexing, and the suitability of the per-posting list MapReduce indexing strategy, in particular for indexing at a terabyte-scale. Hence, we conclude that MapReduce is a suitable framework for the deployment of large-scale indexing. 相似文献
9.
10.
王晨阳 《福建工程学院学报》2019,(4):365-370
设计一个迭代的MapReduce并行计算工作流,用于分析快消品电商网站的搜索引擎日志。该工作流根据每次检索在商品品牌字段上的层面搜索结果,挖掘关键字检索和品牌检索热度之间的潜在相关性,为关键字检索计算出其对品牌层面搜索结果集中各品牌的检索热度贡献值,最后对品牌检索热度贡献值列表进行归并计算得到各个品牌的检索热度排名并取Top-N。 相似文献