Google三大云计算技术对海量数据分析流程的技术改进优化研究     

卢小宾  王涛 《图书情报工作》2015,59(3):6

[目的/意义] 建构云计算技术环境下的海量数据分析是一种需要预载大量数据集的数据计算处理。针对传统海量数据分析处理数据细节方式所导致的分析质量与效率问题,运用Google三大云计算技术对其进行改进。[方法/过程] 通过对Google三大云计算技术——GFS、MapReduce和Bigtable进行文献调查、内容分析和技术分析,梳理出Google云计算技术在数据处理、技术架构和算法模型等方面的部署创新和设计改进。[结果/结论] 将Google云计算技术与传统本地数据分析处理方式与细节进行比较分析,得出Google云计算技术在操作海量数据分析时所具备的处理优势。借助Google云计算三大技术,提出海量数据分析流程在存储和访问、组织与管理以及并行处理3个方面的技术优化与改进策略。  相似文献   

云计算中两类主流数据库的比较研究     

范永胜 《绵阳师范学院学报》2012,31(8):68-71

主要研究了Bigtable和HBase两个云计算的主流数据库;从数据模型的比较可以看出它们都采用了行、列和时间戳三要素;系统的主要架构也基本相似,只是在实现中有细微的差别,表现在对列族的处理上,Bigtable采用了锁的方式,而HBase则采用了节点方式来完成数据的协同访问;在性能的比较中可以知道,Bigtable的性能明显优于HBase,尤其在如数据错误安全和数据中心间的数据复制等关键性能是HBase所不能支持的;但由于HBase的开源性,使得用户可以获得更多的自由,方便开发个性应用。  相似文献   

基于Google Bigtable的海量数据存储探索     

李红 《鞍山师范学院学报》2013,(4):54-61

随着网络技术的快速发展,存储网络中的海量数据已经超越了传统关系型数据库的负载能力.如何存储海量数据,以及如何基于海量数据提供高效的数据查询的能力,使得程序的使用者能够得到及时的回应等诸多问题是Google等网络服务供应商们所亟需解决的挑战.为了解决这些问题,Google研发了Google文件系统(Google File System,GFS)、Bigtable以及很多其他相关的技术和算法.本文介绍了Google Bigtable的数据模型,并且详细解释了Bigtable是如何提供可扩展性,如何提供高效率的读和写操作,以及Bigtable是如何控制并发事务的.读者通过阅读可以更加深刻地理解Bigtable的技术架构.  相似文献