共查询到20条相似文献，搜索用时 500 毫秒
1.
2.
正云计算本质上是一种分布式计算,即通过将需要处理的海量数据信息分割成大量"小块",再交给无数个小程序分别处理后合并结果,最后反馈给用户。其优点在于计算速度快、计算量大。而大数据则刚好相反,大数据并不直接对数据信息进行处理,而是从近乎没有确切边界定义的"泛化"海量数据中发掘或者说"提纯"目标信息,这对网络架构和数据处理能力有着相当高的要求。就目前而言,大数据无法仅靠单台计算机完成海量数据处理,它还需要借助分布式体系架构来实现,于是云计算与计算机大数据处理的融合"联动"顺理成章。 相似文献
3.
随着电力系统规模的不断扩大,对电能质量要求的不断提高,涌现出海量的电能质量监测数据,这对现有的电能质量分析计算平台带来了挑战。如何对海量电能质量监测数据进行可靠快速的处理成为电能质量分析中的重要问题。本文利用分布式计算在处理海量数据方面的优势,基于Hadoop分布式技术设计开发了一个电能质量监测数据分析平台,同时结合Hadoop和关系型数据库各自的特点,不仅提升了平台性能,而且使平台可以较为方便的整合到现有的电能质量监测系统中,以增强现有系统的计算能力。 相似文献
4.
5.
近十年来,计算机网络迅猛发展,同时网络的使用也逐渐增加,信息的数量、种类和分布都达到了一种"爆炸式"的增长。如何存储、分发、组织和管理、高性能处理、分析和挖掘海量分布数据成为许多应用的首要问题。数据网格技术的发展为解决这个问题提供了一条有效的技术途径。而P2P方式作为一个彻底的分布式计算模型,与集中的服务器方式相比,具有很多优势。 相似文献
6.
地学中海量数据的并行可视化研究进展 总被引：2，自引：0，他引：2
地球科学中观测和数值模拟结果数据爆炸式的增长,给可视化和分析这些海量数据带来了极大的挑战,将海量数据并行可视化技术应用到地球科学中是解决这一问题的有效手段。地球科学中海量数据可视化是目前国际科学可视化研究的一个新方向。本文首先介绍海量数据并行可视化的几个步骤,然后总结了地球科学中海量数据的特点,重点讨论了海量数据并行可视化在地幔对流、地震波传播以及海啸数值模拟等可视化研究中的应用实例。 相似文献
7.
随着网络技术飞速发展,海量数据已随处可见并且不断增长,现有的查询处理技术在应用于海量数据时已经显现出种种不足。以海量数据所处的复杂环境为切入点,从各个不同的角度出发研究分析了已有的查询处理方法,在此基础之上提出了使用海量数据的改进算法,改进的Limits算法有利于海量数据查询性能的提高。 相似文献
8.
文章在梳理海量数据中心信息组织技术发展现状的基础上,归纳出海量数据中心信息组织中存在的5个主要矛盾,并提出了海量数据中心信息组织对策建议。 相似文献
9.
Hadoop是Apache旗下的开源云计算平台,它通过普通计算机集群的分布式计算实现了对海量数据可靠和高效地处理。随着Hadoop成为当今大数据时代不可缺少的重要工具,更多的企业将机密信息部署在Hadoop云平台上以便完成业务需求,导致Hadoop安全成为了不可忽视的问题。在诸多信息安全新兴技术中,访问控制是最基本也是最核心的一部分,本文通过构建基于用户历史行为和系统安全属性规则的用户画像,并设计相应的属性规则映射算法及用户状态动态评价模型,提出了一种面向Hadoop的自适应权限控制方案,能够实现用户权限的动态调控,从而更加有效保证用户在大数据时代下的信息安全。 相似文献
10.
Web数据的访问一直是当前研究的热门话题。随着网络规模的扩大,海量Web数据访问受到了很大限制,高纬度的数据会大幅的打乱数据知识模式规则,数据可视化结构不能满足算法知识发展的要求,导致海量Web数据访问耗时。为此提出一种基于模糊核递归计算的海量Web数据访问优化算法。计算数据模糊核特征,利用隶属度函数表示模糊特征的归属,利用模糊核递归判别从这些海量数据中发现有用知识包括模式规则、可视化结构。实验表明,该方法能够较好地完成海量Web数据的优化方法,时间复杂度大幅降低。 相似文献
11.
随着互联网应用的广泛普及,互联网承载的网络数据信息呈爆炸式增长,为了实现对海量的、繁杂的、无序的网络信息数据资源进行智能分析、存储和管理,针对网络海量数据信息高度异构的特点,分析了海量网络数据存储系统体系结构,提出一种基于云计算的网络数据的存储管理系统。运行表明,系统能够高效完成海量数据的管理和分析任务,效率高,系统安全可靠、易维护、具有良好的可扩展性。 相似文献
12.
13.
14.
15.
16.
文章通过分析柳工计算机网络环境下的海量数据管理的现状,阐述了在复合网络环境下的海量数据管理的管理思想和实务。提出应用分布式文件系统的模式来实现对海量文件型数据的统一管理,并给出了应用实例,为相似的网络环境和需求提供了新的思考方向和解决办法。 相似文献
17.
由于传统的数据分类查询方法查询失效所承担的额外操作代价不同,无法有效实现优化分类查询,提出一种基于变异遗传散布的云计算环境下海量数据优化分类查询方法,对于含有云计算环境下海量数据的数据库,给出遗传迭代查询散布及数据间的查询响应函数,获取云计算环境下海量数据灰度散布值,融入遗传执行算子数据,获取遗传变异散布分类查询系数,在充分宽的尺度和平移区域中获取最大类别之间的匹配值,得到数据查询响应函数,将其转换成变异遗传散布控制量,从而实现云计算环境下海量数据的优化分类查询。仿真实验结果表明,所提方法具有很高的精度。 相似文献
18.
《内蒙古科技与经济》2016,(19)
将数据挖掘与云计算技术相结合构建基于云计算的数据挖掘平台,通过该平台用户可获得海量数据挖掘与海量数据存储功能,从而可降低数据管理、计算与分析的软硬件成本。 相似文献
19.
针对当前只关注对数字图书馆网络功能的提高,忽略了对信息扩散的问题。为此,通过关联规则方法对海量图书信息数据扩散进行研究,给出关联规则的基本概念,并介绍了数字图书馆网络的特征,将API与编写抓取程序、开放数据等技术结合在一起;利用Apriori算法通过层次顺序搜索的循环方法对图书信息数据频繁项集进行挖掘,采集数字图书馆网络中某用户粉丝、关注者、转发以及评论信息扩散数据;将关联规则作为研究海量图书信息数据扩散方法,通过关联规则衡量节点度和出入度;在此基础上通过关联规则对海量图书信息数据扩散情况进行研究,发现海量图书信息扩散有高低谷期;转发量和评论量呈一定的正相关性;数字图书馆网络中海量图书信息数据扩散的广度和用户影响力相关。 相似文献
20.
对海量数据采集与挖掘技术的问题,提出如何利用WEB文本进行多断点控制、并发采集、网上清洗等新技术方法进行海量数据采集及处理,构建了基于WEB文本海量数据挖掘的应用统计系统,实现了三千多万条原始数据的采集、转换、统计. 相似文献