首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到20条相似文献,搜索用时 31 毫秒
1.
HBase列式非关系型数据库行键设计决定了海量数据存储与查询效率。针对目前存在的数据存储问题及检索效率问题,对现有5种主流方法进行数据测试后,选择了相对较优的哈希前缀法,并在原有基础上根据智慧水务系统中的数据结构特性,使用重要字段提升法结合逆序行键方法进行设计。验证结果显示,该行键组合法针对智慧水务中的时序性数据,在存储方面解决了写入热点与存储分散相矛盾的问题,检索效率在原有哈希前缀法基础上也有了一定提升。  相似文献   

2.
《柳州师专学报》2016,(3):140-143
随着位置服务的广泛应用,如何对海量位置数据进行高效的空间查询成为研究热点.结合对分布式数据库HBase存储机制与Geohash编码原理的研究,基于Geo Hash构建空间索引,设计位置数据存储模型,并在此基础上探讨一种多边形区域查询算法.通过与传统My SQL数据库的试验对比,验证了该算法具有较高的查询效率和良好的可扩展性.  相似文献   

3.
近年来,随着WebGIS的发展和广泛使用,如何在数据库中处理空间查询问题已成为热点之一。传统的地理信息系统通常使用基于树的索引(如 R-树、四叉树等)进行空间索引,但如果数据量很大,则操作成本很高。介绍了一种将经纬度坐标转换为类URL简短字符串的GeoHash算法,该算法通过对比字符串的前缀重合度实现周边查询,提高了数据处理效率与查询精度,降低了操作成本,为周边查询及用户推荐提供了一种新思路。  相似文献   

4.
旅行时间计算是智能交通系统研究的重要内容,准确的旅行时间计算结果可以为交通管控部门提供决策支持,缓解交通拥堵情况。近年来,随着监测水平的提高,交通监测数据呈现海量增长趋势。传统的关系型数据库应对海量数据时存在高并发读写和扩展性不足等瓶颈。为解决智能交通因数据规模过大带来的存储和查询问题,提出了一种基于HBase的交通旅行时间计算方法,设计了面向查询优化的行键策略,并在此基础上提出了单时段及多时段旅行时间计算方法。实验表明,该计算方法与传统的基于Oracle的算法相比,时间效率提高2~3倍,并且有较高的读写性能及良好的可扩展性。  相似文献   

5.
针对GIS遥感影像数据投影变换特点,对影像数据变换的金字塔中间图像、分块仿射变换、最临近内插等技术与方法进行了研究。着重阐述了遥感影像数据投影中的难点,提出了影像投影优化的研究思路及关键技术,解决了投影中遇到的主要问题。最后通过项目实践验证了影像投影变换技术在中海油GIS平台中的应用效果及意义。  相似文献   

6.
关系型数据库由于面向行存储以及无法扩展等原因,已很难满足大规模车联网传感数据的存储与查询要求。针对该问题,设计了一个基于非关系型数据库HBase存储的车联网传感数据管理系统。该系统采用Hadoop与HBase搭建分布式实验平台,采用C#语言开发Web网页端。通过与传统关系型数据库SQL Server的存储与查询效率进行对比分析,表明HBase在处理大规模车联网传感数据方面具有明显优势。  相似文献   

7.
周伟  刘希  陈浩 《教育技术导刊》2018,17(3):187-190
二级索引方案是分布式存储研究的重要分支之一,基于通用目标设计二级索引方案可避免单一业务编程繁琐问题,使实施人员更多地关注业务本身而非编程细节。以HBase数据库为研究对象,引入分布式索引机制,通过重写观察者Observer协处理器方法,操作完数据后立即触发创建或更新索引的请求,进一步在SolrCloud中完成对索引的管理。反向进行多条件组合查询时,先在SolrCloud中查询包含行键和索引列的文档,再以行键为条件查询并获取HBase记录。部署通用方案,实验证明该方案很好地满足了创建和维护HBase二级索引的要求,且保证了索引与记录的一致性,对进一步研究分布式存储二级索引方案有一定的指导意义。  相似文献   

8.
物联网中的数据具有海量、异构性的特点,数据存储关系到数据共享、数据查询等后续工作,对存储方式的研究一直备受关注。在介绍存储策略和查询技术的基础上,着重探讨查询算法,为海量异构传感采样数据存储提供可参考的解决方案。  相似文献   

9.
针对动态物体三维重建计算量大的问题,提出利用帧间一致性的动态物体可视外壳重建算法。算法采用八叉树的存储结构,利用帧间一致性,判断前一帧重建的可视外壳边界体素的邻域体素状态,生成后续帧的可视外壳。相比于每次从八叉树的根节点开始判断的方法,帧间一致性算法减少了判断次数,提高了算法效率。试验结果表明,该算法有效地减少了计算量。  相似文献   

10.
时空索引技术是近年来地理信息系统领域的研究热点,如何有机结合空间和时间信息,提高查询效率是重中之重。本文构建了飘浮模型的时空索引机制,以三层数据查询结构保证时空的有效结合。同时,创新的采用影像与矢量数据配准的方式共同作为数据源,降低系统成本,增加直观效果。实践表明该索引机制可以有效提高查询效率,基于该模型的校园地理信息平台运行效果良好。  相似文献   

11.
在综合分析传统的多叉树、二叉树、三叉树的存储结构 [1 ,2 ,3,4]的基础上 ,提出了一种形象直观的 ,对多叉树基本操作时效性高的 ,存储空间得到充分利用的多叉树存储结构存储结构 ;二叉树 ;三叉树 ;多叉树一、引言随着知识库和人工智能的发展 ,知识的表示问题成为重要的研究领域。多叉树的理论及算法研究为知识的表示提供了新的手段。而目前较为突出的问题 ,是存储效率问题。本文在综合分析传统的多叉树 ,二叉树、三叉树存储结构及改进的存储结构 [1 ,2 ,3,4]的基础上 ,给出一种形象直观的 ,对多叉树基本操作时效性高的 ,存储空间得到充分利…  相似文献   

12.
从二值图像的区域特征出发,提出了基于四叉树的二值图像四边形区域压缩算法,该算法的思想是将二值图像用四叉树进行四分区域划分,在同一个区域中如果像素值相同则可用一个元素表示,否则继续划分,该算法的优点体现在如下两个方面:1.采用二进制移位的思想提高了MD码的生成效率。2.采用基于对数模型的方法进行区域像素压缩。该算法的内存开销小,运行速度高于其它相关方法。  相似文献   

13.
《商洛学院学报》2015,(6):19-23
为了有效地去除高分一号遥感影像中薄云的影响,提高地物信息辨别的准确率,为影像后期的分析和处理奠定基础。以北京市密云县影像数据作为研究区,提出了一种基于改善HOT算法和Flatten_peak算法的薄云去除算法。该算法采用改善的HOT算法进行云层厚度检测,运用Flatten_peak算法进行云层厚度完善,使用云点算法进行薄云去除。给出了该算法的处理流程,通过ENVI/Haze tool工具展开实验,实验结果表明:该方法对于去除高分一号遥感影像中的薄云具有良好效果,验证了该方法处理的有效性。  相似文献   

14.
数据安全问题是制约云计算服务推广的瓶颈之一。为了提高云计算应用中用户数据存储传输的安全性,在确保数据读写速度与传输效率的前提下,采用对称与非对称加密算法混合的双重加密、解密模式,发挥两种算法各自的优点。相对于现有模型,其在数据安全性与算法效率上有大幅提升,是一种安全、高速的云计算数据高效存储策略。  相似文献   

15.
本文介绍了一种3D点云数据几阿压缩的新算法,这种算法可视为“无损”压缩,它较好地保持了原有数据的特征。这种算法既可用于形体体内点又可用于表面点,是基于八叉村空间分解,通过占有的八叉树单元格对点云编码,根据失真率的限制生成八叉树,本文采用了行程编码技术(Run—Length Encoding)来压缩八叉树节点。  相似文献   

16.
针对嵌入式终端设备资源有限与日益增长的海量影像数据显示之间的矛盾,提出并实现了一种适用于嵌入式设备的影像快速渲染方案.首先,研究了多分辨率瓦片金字塔构建改进算法,用以实现海量影像数据的组织管理.然后,在此基础上利用视点相关层次细节技术、目标瓦片快速搜索技术和瓦片无缝拼接技术实现影像的快速调度和显示.实验结果表明,和基于...  相似文献   

17.
该文在研究点云数据四叉树存储结构和内外存调度策略的基础上,利用OSG技术,构建良好的交互环境,实现LiDAR点云数据的三维实时渲染绘制,并通过实验验证了该渲染方法。实验表明,该方法无论是在渲染效率,还是渲染效果上,均取得了令人满意的结果,为LAS文件的实时三维渲染提供一种新的解决思路。  相似文献   

18.
猫群算法是近几年来提出的又一种新型的群体智能优化计算方法。在介绍基本猫群算法的基础上,从算法的改进技术研究、并行结构设计、与其他优化算法的混合模式、算法的应用研究4个方面对国内外猫群算法的研究进展进行综述,最后通过总结已有的研究成果,对猫群算法未来的研究工作进行展望。  相似文献   

19.
在大数据时代,数据高速增长,对数据仓库管理方法和技术提出了全新挑战,为实现仓储资源优化配置,提高资源使用效率,首次把数据半衰期运用于数据仓库分级存储。传统固定阈值转存策略存在存储资源配置不合理的问题,利用半衰期分级存储策略,对每个数据对象进行计算分析后转存,采用MPP数据仓库和Hadoop构建混合数据仓库存储架构,解决了大数据背景下的数据存储与分析,实现了数据仓库管理方法和数据存储架构的创新。实际验证发现,数据半衰期转存策略优于固定阈值转存策略,证明数据半衰期在数据仓库的管理中有显著应用价值。  相似文献   

20.
遥感影像的统计分类中,通常都将像点特征的集合视为概率密度函数的混合分布,EM算法是求解这种混合模型参数的一个常用方法。但EM算法在给定合适初值的情况下,对训练数据中的噪声非常敏感,这将严重影响算法的运行效率和求取参数的精度。为了解决这个问题,本文提出了EM算法的模糊化策略,以此来减少噪声在参数学习过程中的影响。对遥感影像的分类实验表明,经过模糊化的EM算法能够更好地完成影像数据的分类。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号