首页 | 本学科首页   官方微博 | 高级检索  
相似文献
 共查询到19条相似文献,搜索用时 218 毫秒
1.
ETL(Extraction,Transformation,Load)即数据抽取、转换和加载,是构建数据仓库和数据集市的重要组成部分。ETL过程关系到数据仓库的质量,是基于数据仓库所有商业智能应用的基石。阐述了ETL设计中的各个基本步骤,并讨论分析了ETL工具的实现关键技术,对ETL设计人员提供强有力的支持。  相似文献   

2.
ETL即数据抽取、转换、装载的过程,它是构建数据仓库的重要环节,而数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合。数据清洗是一个减少错误和不一致性、解决对象识别的过程,目前有很多数据清洗研究和ETL研究,但是如何在ETL过程中进行有效的数据清洗,此方面研究不多。本文将以此为问题出发点,探讨ETL中的数据清洗技术在税务系统(贵州省省直属局和九个地市州的原始数据)中的应用。  相似文献   

3.
BI即辅助公司高层领导决策。ETL即数据抽取、转换、装载的过程,作为BI决策分析系统的核心,能够按照统一的规则集成并提高数据的价值,是负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。  相似文献   

4.
我国尾矿库数量多、分布广、监测参数复杂,无形增加了日常安全监管的难度。加强尾矿库信息化建设是我国当前矿山信息化工作的重要内容。通过搭建尾矿库数据仓库,开展关键词检索,实时查询全国尾矿库基础数据,实现同类尾矿库统计分析和专项管理,对提升全国尾矿库安全管理水平,提高管理效率具有重要意义。本文研究基于ETL/ELT(提取-转换-加载/提取-加载-转换)的数据仓库构建与维护技术,采用多渠道统计尾矿库基础信息,构筑尾矿库多源数据仓库,为全面掌握我国尾矿库安全现状,提高尾矿库安全管理水平提供信息化技术支撑。  相似文献   

5.
ETL是数据仓库解决方案的主要功能,组件分布和互操作性方面的不足被视为是ETL当前面临的主要问题,因为ETL组件以紧耦合方式存在ETL框架里.通过分布提取、转换和加载组件以实现松耦合展开探讨,互操作性是如何应用于这些分布式ETL组件,面向服务的架构(SOA)可通过重构当前的ETL框架来解决分布和互操作性不足的问题,使用SOA标准来重构ETL过程.最后,对ETL框架的分布式互操作组件进行实验检测.  相似文献   

6.
针对机场能源数据存在统计方式混乱、数据结构不同、缺乏对历史数据的科学分析等问题,提出将数据仓库运用于机场能源信息管理中。首先提出数据仓库设计的总体架构;其次依据机场现阶段能源管理特点,建立面特定主题即能源消耗结构主题和检测预警主题的数据仓库模型;接着根据机场能源信息多数据源和远程服务器的特点设计两层ETL处理,对数据信息进行抽取、清洗、转换、集成和转载;最后通过SQL Server软件平台建立数据仓库多维数据集并进行联机分析处理操作,为机场实现科学个性化能源管理提供决策支持。  相似文献   

7.
如何能够更好的通过数据仓库进行决策分析是云计算下的数据挖掘研究的重要组成部分,基于Hive的数据仓库是为了能够快速的查询数据,通过ETL任务资源与调度可以使得查询的消耗达到最小,但ETL是一种类似的NP问题,本文将萤火虫算法引入到ETL任务资源调度中,将萤火虫个体的最优与ETL最优任务调度进行对应。实验平台采用某地区的面料交易平台进行研究,实验说明本文算法能够有效的提高ETL访问效率,从而加快了Hive的访问速度。  相似文献   

8.
ETL工具在建设数据仓库中的应用   总被引:2,自引:0,他引:2  
本文介绍了数据仓库的基本概念、特征以及数据仓库的建立过程,阐述了ETL的原理和主要功能,进一步通过实例论证了ETL在建立数据仓库过程中有效地解决异构多数据源和数据清洗问题。  相似文献   

9.
本文主要介绍了上海市民信箱信息分析系统的系统结构和关键技术.该系统主要运用数据仓库、ETL、数据挖掘等关键技术.  相似文献   

10.
数据整合的利器——数据仓库   总被引:1,自引:0,他引:1  
阐明了数字资源整合的必要性和层次模型,分析了利用数据仓库进行数据整合的可行性.介绍了数据仓库的关键技术数据抽取、转换和加戢,最后利用Oracle数据仓库构建器和实验数据进行数据仓库的构建试验.  相似文献   

11.
基于数据挖掘的群决策模型   总被引:9,自引:0,他引:9  
刘云  刘东苏  赵捧未 《情报科学》2000,18(11):1018-1020
本文基于数据仓库的数据挖掘技术,针对企业决策问题,讨论了如何有效地获取有关顾客信息及商品信息,以辅助决策者制定决策方案。在有多个决策方案的情况下,本文给出了一个用于方案评优与选择的群体决策模型。  相似文献   

12.
数据挖掘在高速公路收费系统中的应用探讨   总被引:1,自引:0,他引:1  
我国高速公路联网收费系统中包含丰富的数据资源,对于这些离散的原始数据,目前大部分采用数据仓库(DW)和联机分析处理(OLAP)技术,而数据挖掘(DM)却应用不广。然而对于高速公路联网收费系统中的海量数据内部,蕴藏着丰富的内在关系和隐含信息,本文探讨了数据挖掘技术在高速公路联网系统中的部分应用问题。  相似文献   

13.
网络环境下的知识挖掘   总被引:9,自引:0,他引:9  
侯雅柟 《情报科学》2003,21(8):887-890
当前网络信息大爆炸,要从大量信息中获得所需知识就需要运用知识挖掘方法。本文首先对数据、信息、知识三个概念进行了区分,阐述了网络知识挖掘的概念及类型,并从数据仓库、语义网络和XML等底层信息加工组织方法上对网络知识挖掘进行探讨。  相似文献   

14.
在数据装入数据仓库之前,应该对数据进行数据清洗.而数据清洗的核心工作就是清洗近似重复记录.聚类是将相似度高的数据对象聚集到一个类中,于是我们提出将该技术用于近似重复记录的发现上.本文主要介绍如何将SOM网络聚类强大的学习功能及良好的自组织性、自适应性和鲁棒性应用到数据清洗中。  相似文献   

15.
陈宏 《科技广场》2011,(9):90-93
数据仓库技术是基于信息系统业务发展的需要,基于数据库系统技术发展而来,并逐步独立的一系列新的应用技术。数据挖掘技术为应对信息爆炸、海量信息的处理提供了科学和有效的手段。本文简单介绍了关系数据仓库、数据挖掘的概念、结构、基本原理、技术和应用领域。  相似文献   

16.
将Web数据挖掘技术应用于急性高原病易感人群的预测中,通过Web技术与数据挖掘技术相结合,将分散于Web中的数据经过检索、清洗、处理后存储在专门的数据仓库中。在现有研究成果的基础上,提出一个简便、高效的急性高原病易感人群预测模型。  相似文献   

17.
数据仓库中数据组织和管理的研究   总被引:2,自引:0,他引:2  
王菲 《情报科学》2002,20(7):727-730
本文着重论术了在数据仓库中如何利用索引技术和对数据库管理的划分来组织和管理数据,以达到对数据仓库性能的优化。  相似文献   

18.
数据仓库维度建模方法的研究与应用   总被引:1,自引:0,他引:1  
维度建模设计是数据仓库研究及应用中的一个重要问题。本文介绍了维度建模的几种主要方法及其特点,对影响维度建模的有关因素进行了研究和讨论,并将其具体应用到商业银行的数据仓库系统中。  相似文献   

19.
本文以话务网络管理系统的数据仓库及数据挖掘相关技术为研究背景,构建了移动通信话务网管数据挖掘系统,探讨了系统实施过程中所使用的关键技术和算法,重点介绍时序分析算法并应用于话务网络管理。  相似文献   

设为首页 | 免责声明 | 关于勤云 | 加入收藏

Copyright©北京勤云科技发展有限公司  京ICP备09084417号