排序方式： 共有45条查询结果，搜索用时 156 毫秒
11.
随着大数据时代的到来,聚类分析算法将面临如数据量巨大、数据维数增加等挑战,分布式处理是解决这类问题的方法之一.本研究将ROCK算法与Hadoop平台相结合,按照分布式处理原则,通过计算机集群模式去处理大规模的多样性数据.实验证明,在Hadoop平台下的ROCK聚类算法很大程度上提升了对高维数据进行聚类的能力. 相似文献
12.
13.
选用FreeBSD操作系统,配置Java环境,并在此基础上搭建了Hadoop云计算平台.介绍云计算平台的搭建步骤,阐述云计算平台的工作原理,为进一步研究云计算的应用技术打下了基础. 相似文献
14.
Hadoop is a well‐known big data system and a subject covered in many big data courses. This article describes two role play games for teaching the two fundamental components in the Hadoop framework, MapReduce and Hadoop Distributed File System (HDFS). In the games, students form teams and play different roles as a part of a Hadoop cluster. The games are designed to let students collaborate with peers in the same way as MapReduce and HDFS components collaborate to perform computing jobs in a Hadoop cluster. Utilizing a computer communication channel, the games are designed to let students quickly and effectively understand typical MapReduce and HDFS operations. Survey results from students in two big data classes show that the games effectively improve learning outcome in understanding MapReduce and HDFS workflow and the Hadoop framework in general. Students appear more engaged in class activities and communicate with peers more often. 相似文献
15.
何颖 《贵州教育学院学报》2013,(9):18-21
爆炸式增长的数据要求高效率地使用计算资源,Hadoop是解决大数据处理的一个方向,不过Ha-doop平台还处于发展中,很多地方还有待完善。对Hadoop自带的三种调度器的优缺点进行分析,针对希望区分和动态改变作业服务质量的情况提出了动态优先调度算法。实验结果表明动态优先调度算法能够在作业的运行中动态改变作业的优先级,在效率上也有所提升。 相似文献
16.
Hadoop作为著名开源云计算技术近年来得到广泛应用,研究成果快速增长。理论研究主要集中在任务调度、小文件优化、中间数据管理、功能扩展和安全性优化;应用研究主要涉及数据存储、数据分析、数据挖掘、搜索引擎以及信息安全领域。通过分析相关研究成果明确Hadoop近年来国内研究现状。 相似文献
17.
随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。 相似文献
18.
银行业在实现业务和数据集中处理的信息化架构后,随着业务的发展,面对数量越来越多、规模越来越大的批处理需求,如何提高计算资源的使用效率和灵活配置资源是银行信息中心不断面对的挑战。以资源和应用虚拟化为核心的云计算架构和技术正在不断发展和成熟,它可以有效地提高信息中心的资源使用,为批处理业务动态配置有效资源。针对以批处理中按照业务类型和处理流程进行资源配置的传统方法,提出了一种将业务流程进行优化分解成为可以进行独立并行处理任务的方法,可以在云计算环境下分组处理具有共同特征的计算和操作任务,实现优化资源调配。通过HadoopMapReduce并行计算架构进行模拟验证,初步实验结果表明了该方法在批处理执行效率、资源使用和灵活性方面的优势,在大量批处理业务领域（金融、证券、电子商务）具有一定的应用和研究价值。 相似文献
19.
Undoubtedly, the change in consumers’ choices and expectations, stemming from the emerging technology and also significant availability of different products and services, created a highly competitive landscape in various customer service sectors, including the financial industry. Accordingly, the Canadian banking industry has also become highly competitive due to the threats and disruptions caused by not only direct competitors, but also new entrants to the market.The primary objective of this paper is to construct a predictive churn model by utilizing big data, including the structured archival data, integrated with unstructured data from sources such as online web pages, the number of website visits and phone conversation logs, for the first time in the financial industry. It also examines the effect of different aspects of customers’ behavior on churning decisions. The Datameer big data analytics tool on the Hadoop platform and predictive techniques using the SAS business intelligence system were applied to study the client retirement journey path and to create a churn prediction model. By deploying the above systems, we were able to uncover a wealth of data and information associated with over 3 million customers’ records within the retiree segment of the target bank, from 2011 to 2015. 相似文献
20.
面对海量邮政寄递数据，现有的构建于关系数据库上的数据仓库系统在做数据分析时具有建设成本高、分析能力会遇到瓶颈等缺点。Hadoop具有高可扩展、高性能和低成本等优点，被广泛应用于大数据的存储和分析。基于对Hadoop开源框架的研究，设计邮政寄递大数据分析系统，并对该系统进行部分实现。结合邮政安监系统工程需求展开实验，得出大数据分析系统的性能参数，为后续工程建设提供依据。 相似文献