共查询到20条相似文献，搜索用时 31 毫秒
1.
2.
为提高压力管道数据存储性能，改善数据存储效率，增强压力管道后期的可维护性，构建一种基于Hadoop的压力管道数据存储系统.该系统利用HDFS分布式存储框架建立压力管道数据的存储模型，采用MapReduce对压力管道海量数据进行分析和处理，从而完成数据写入HBase数据库的低延迟响应.在实验中，采用压力管道数据对MySQL、Oracle、Spark SQL、MongoDB和Rasdaman进行性能对比.结果表明，在相同数据量的情况下，系统运行时间更短，占用内存更少，其在存储压力管道海量数据方面具有较好的优越性. 相似文献
3.
4.
5.
二级索引方案是分布式存储研究的重要分支之一,基于通用目标设计二级索引方案可避免单一业务编程繁琐问题,使实施人员更多地关注业务本身而非编程细节。以HBase数据库为研究对象,引入分布式索引机制,通过重写观察者Observer协处理器方法,操作完数据后立即触发创建或更新索引的请求,进一步在SolrCloud中完成对索引的管理。反向进行多条件组合查询时,先在SolrCloud中查询包含行键和索引列的文档,再以行键为条件查询并获取HBase记录。部署通用方案,实验证明该方案很好地满足了创建和维护HBase二级索引的要求,且保证了索引与记录的一致性,对进一步研究分布式存储二级索引方案有一定的指导意义。 相似文献
6.
海量数据的分布式存储是近几年的研究热点,随着数据量的不断增大,如何确保数据存储的安全性是极需解决的技术问题。本文构建了一种SAN存储网络的安全认证模型,利用SRP机制实现了分布式数据存储的认证,有效地确保了数据的安全性和一致性。 相似文献
7.
8.
9.
10.
李玲瑞 《洛阳师范学院学报》2013,(11):64-68
从云计算的定义与云存储的数据模型,GML的空间数据特征等方面探究云计算环境下GML空间数据存储方法.搭建单机与分布式的平台并对两者的存储性能进行对比,得出云计算环境下对GML空间的海量数据存储和访问采用分布式的存储优于采用单机存储的结论. 相似文献
11.
《实验室研究与探索》2018,(10)
为了对遥感影像数据进行高效地存储与管理,解决传统的存储与查询效率不高的问题。设计一种基于猫群算法的遥感影像并行存储算法,采用线性四叉树对地理空间进行划分和编码,利用MapReduce并行计算框架和猫群优化算法来构建金字塔,把地物标识码、四叉树索引ID两种信息作为行键,采用HBase分布式数据库对影像数据进行存储。实验表明,该方法在金字塔构建的过程中有效的提高了遥感影像的存储效率且保证了数据的完整性。在查询方面,改进的行键不仅达到了筛选数据的目的而且提高了读取效率。研究成果可满足对海量影像高效存储、管理的需求,具有很好的可行性和可扩展性。 相似文献
12.
13.
14.
针对未来物联网农业产生的海量数据采集、管理和挖掘问题,本文提出了基于Hadoop集群分布式存储与传统MySQL数据库相结合的农业大数据云端系统。通过无线传感器网络构建农作物生长环境参数,如温度、湿度、光照度、土壤湿度及图像视频等数据采集和传输平台,数据最后汇聚到云端通过H adoop分布式计算框架和MapReduce编程模型对农业海量数据进行存储、检索、管理和决策,为农作物生长过程实时监测和最优化生产提供指导,实现方便、快捷、高效和低成本的农业管理系统。 相似文献
15.
16.
随着城市的发展,传统方式存储与处理不断增多的交通数据暴露出诸多问题。为此,设计并实现了一套基于Hadoop的交通数据存储和处理平台。该平台采用HBase数据库存储数据,Mapreduce实现数据并行处理,Web端展示数据。实验结果证实,该平台在数据存取和数据处理性能方面都优于传统处理方式。 相似文献
17.
18.
教学信息化的发展,预示着数字化教学资源大数据时代的到来。面对海量数字化资源,利用分布式处理技术从资源的大小出发,设计了针对大文件资源的HDFS存储方案和小文件资源的DFS存储方案。详细分析了HDFS和DFS的工作原理,介绍了针对大文件和小文件资源的存储方案,并在教学实践中分别分析了其文件传输速率,证实了存储方案设计的可用性。 相似文献
19.
互联网的迅速发展产生了各种海量数据,快速有效处理海量数据是云计算的目标。Hadoop作为典型的云计算平台可高效处理海量数据。介绍了Hadoop相关概念,包括HDFS、MapReduce等众多子项目;阐述了Hadoop完全分布式平台搭建,包括环境配置、搭建方法等;通过数据处理实验验证了Hadoop分布式平台的有效性。 相似文献