排序方式： 共有45条查询结果，搜索用时 265 毫秒
21.
开发海量数据处理系统时存在技术框架选择不确定问题。从理论及应用角度对两种主流的海量数据处理架构MPP和Hadoop进行对比,分析各自技术特点,阐述其与传统数据处理的优势。分析结果表明,Hadoop在存储数据规模上可轻松支持PB级别,而MPP架构大多只支持TB级别;Hadoop对海量半结构化、非结构化数据存储和处理有一定优势,但在处理速度和易用性上不及MPP;在结构化数据处理、响应性能和衍生工具等方面MPP 则占优,适用于查询业务场景较多项目。通过分析两大框架底层核心技术以及归纳优缺点,为企业相关应用的技术选型提供参考。 相似文献
22.
Hadoop平台是apche下的一个开源大数据平台,具有分布性、虚拟化、高可靠性、高可伸缩性、通用性等特点。Hadoop平台发展至今,集成组件已从1.0发展到2.0。从Hadoop体系结构入手,分析了Hadoop 平台1.0和2.0平台的基准测试性能并进行了对比。研究了testdfsIO、yarn、hive的基准测试,通过对升级后平台的基准测试,分析了2.0的优势,为集成Hadoop平台提供参考。 相似文献
23.
面对众多的大数据技术与研究领域,需要设计合理的学习路径和线索。通过在教学过程中划分多层次(基础层、提高层、综合层),让学生可以有针对性地由浅入深学习,掌握诸如安装维护、基本操作、应用开发、平台调优、架构设计等不同层面的知识。针对大数据工程实践中的常用技术方向,设计了不同层次的实践教学内容,并以工程中常用技术HDFS知识点为例进行阐述。在课程实施过程中该设计内容满足教学需要,使学生能够更加清晰地了解大数据技术在实际中所面对的不同业务需求。 相似文献
24.
“大数据”是信息科技领域出现的一个研究焦点。文章从“大数据”的概念进入,对其特征进行梳理总结,对“大数据”处理的核心技术进行分析,比较分析各个“大数据”处理商业解决方案的特点,最后结合“大数据”特征分析科技文献信息,对“大数据”在科技文献信息处理领域的应用进行探讨性分析与研究。 相似文献
25.
大数据是IT业颠覆性的技术变革。通过表面的数据,揭示其背后隐藏的有价值的信息,是大数据的核心。图书馆利用大数据将面临许多挑战,图书馆如何获取并存储大数据,大数据在图书馆有哪些应用能促进图书馆的创新发展,大数据的相关技术如Hadoop、Hbase、云存储、云计算、数据分析与挖掘技术的研究,将会是大数据时代图书馆研究的主要问题。 相似文献
26.
赵华茗 《现代图书情报技术》2011,(Z1)
针对传统的相似度计算方法在海量信息处理过程中暴露出的数据处理规模限制和性能不足等方面的瓶颈问题,以非结构化文档为研究对象,提出一种基于Hadoop分布式环境,结合Hive数据处理平台和PostgreSQL关系型数据库的文档相似度计算方法,并给出关键技术思路、具体实现步骤和实证研究,通过研究证明Hive SQL语言可有效简化分布式数据处理的复杂性,但实时性有待改进。 相似文献
27.
云计算环境下大规模数据处理的研究与初步实现 总被引：4，自引：0，他引：4
将云计算技术引入到大规模数据处理过程中,提出在集中或分布管理的大量廉价计算机集群上构建动态的、可扩展的、高性价比的、易使用的高性能计算平台,创建一种基于云计算的大规模数据处理的框架模型。论述在这一环境下的大规模数据处理的方法和应用,通过搭建相应的计算平台,验证计算机集群及框架模型的可行性。 相似文献
28.
电子通信信息是当代社会运行的重要信息组成之一,提高电子通信信息存储能力对于各行业高效率处理事务意义重大。基于Hadoop集群环境设计了单节点双层Hadoop结构,分担主节点存储信息的压力;构建MapReduce信息并行计算模型分担海量存储任务,基于动态优先级负载均衡调度算法均衡存储节点的负载量,避免个别或者少数节点负担过重,延长Hadoop存储系统节点的使用寿命。测试结果显示,该方法有效均衡了海量信息存储时间,存储大规模电子通信数据的耗时较少。 相似文献
29.
以运行Hadoop云计算软件平台的异构机群中服务器的硬件指标作为模糊输入,设计了一种自动配置本地服务器的工具.该工具改变了传统云计算平台下的配置方法,以服务器运行历史数据作为参考,引入异构配置方法,通过对异构机群特性的分析,实现对机群的自动配置.仿真实验证明,在保证机群高效的基础上,该工具降低了云计算异构机群的维护成本,具有较高的通用性和可扩展性,对一般的云计算平台也具有参考价值. 相似文献
30.
云平台下大型矩阵乘法运算处理方案设计 总被引：1，自引：0，他引：1
本文在开源云计算平台Hadoop的基础上利用MapReduce和HDFS,针对大型矩阵相乘,并结合个人实际水平进行简单的开发应用。通过开发和研究,进一步探讨云计算关键技术MapReduce对于海量数据处理的意义。 相似文献