共查询到17条相似文献，搜索用时 171 毫秒
1.
具有良好质量的数据仓库是数据挖掘的先决条件,一个支持数据抽取,清洗,转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了ETL的技术及相关概念,在数据仓库建设中的重要作用,提出一种流程化,组件化的ETL工具设计思路,对应各个功能在流程中设计和实现方法。 相似文献
2.
针对数据分析融合平台建设中数据集成开发效率低、数据集成慢和数据网络分散等问题,提出跨网络传输的分布式ETL框架设计。通过对主流ETL工具进行分析,总结了ETL的工作原理及过程,设计了一种基于消息中间件面向数据集成的分布式ETL框架。使用该框架处理数据集成任务时,提交数据集成过程的描述文件进行数据处理。基于元模型驱动和面向切面设计思想,设计数据任务执行引擎和控制模型。基于该框架开发的工具可使数据开发人员从大量重复的数据操作中解脱出来,将更多精力放在数据的逻辑处理上。 相似文献
3.
决策支持系统构建的关键在于ETL系统的开发。文章从ETL模型设计、ETL策略及实现技术、ETL数据质量控制技术等方面进行研究设计,提出适应中小型企业数据整合需求的ETL解决方案。 相似文献
4.
廖飒 《贵阳学院学报(自然科学版)》2008,3(3)
数据增量更新是数据仓库应用领域的重要问题。设计增量数据的获取方式。对增量数据的冗余问题进行了重点研究,提出了预处理方法并设计了相应算法,该方法实现了增量数据的压缩,提高了增量数据的质量及ETL过程的处理效率。给出了增量ETL过程的具体实现。 相似文献
5.
6.
支持数据抽取、转换、清晰、装载的工具集ETL对任何数据仓库工程都是一个必不可少的关键部件。结合应用重点探讨了ETL技术中的数据转换技术及数据质量问题。 相似文献
7.
具有良好质量的数据仓库是数据挖掘的先决条件，一个支持数据抽取，清洗，转换和装载的工具是实现数据仓库必不可少的因素。本文介绍了ETL的技术及相关概念，在数据仓库建设中的重要作用，提出一种流程化，组件化的ETL工具设计思路，时应各个功能在流程中设计和实现方法。 相似文献
8.
ETL(Extraction,Transformation,Load)即数据抽取、转换和加载,是构建数据仓库和数据集市的重要组成部分。ETL过程关系到数据仓库的质量,是基于数据仓库所有商业智能应用的基石。阐述了ETL设计中的各个基本步骤,并讨论分析了ETL工具的实现关键技术,对ETL设计人员提供强有力的支持。 相似文献
9.
10.
地震监测数据在地震研究中起着十分重要的作用。介绍了流动形变数据共享现状，阐述了流动形变监测系统数据查询模块的开发与实现。着眼于数据查询模块结构设计、数据库设计和开发流程描述，提供了该模块开发实例，可为读者提供直观的感受，对地震行业流动形变数据有效利用有借鉴意义。 相似文献
11.
数据仓库的架构模型包括了星型架构与雪花型架构等模式。数据仓库建模的一般流程一般包括确立数据分析主题、确定度量值、确定维度和数据粒度和创建事实表等环节。ETL是数据仓库实施过程中的一个重要处理环节,在数据仓库的构建中,ETL贯穿于项目始终,包括了数据清洗、整合、转换、加载等各个环节。所以ETL在整个数据仓库项目中起着十分关键的作用。 相似文献
12.
在电信企业CRMS建设的背景下,介绍了国内外CRM的现状和趋势以及数据仓库技术和数据挖掘技术,重点阐述了电信运营数据仓库的建模和实施、ETL模块设计和联机分析处理的实现. 通过实践证明该方法是行之有效的. 相似文献
13.
当前高等教育正处在内涵发展和质量提升的关键时期,数据在提高本科教学质量上扮演着越来越重要的角色。通过对国家数据平台的介绍和对服务地方本科院校的局限性分析,指出建设校级基本状态数据库的必要性,并以郑州航空工业管理学院为例,梳理其教学状态数据监测体系构建实践,为其他高校进行教学质量监控提供有益参考。 相似文献
14.
基于空间数据仓库体系结构的数据仓库质量研究 总被引：1，自引：0，他引：1
王占昌 《鞍山师范学院学报》2002,4(1):14-17
数据仓库质量对数据仓库应用至关重要.本文在空间数据仓库体系结构基础上,对数据仓库质量进行研究,以进一步优化空间数据仓库. 相似文献
15.
数据同步技术随着企业对各个信息系统之间数据共享的重视而变得越来越重要,数据同步的方法有很多,本文主要介绍基于ETL技术和基于全表扫描及哈希对比两种数据同步方法。基于ETL技术的数据同步是基于中间逻辑表完成数据转换,再通过主键和时间戳的对比而完成数据同步过程。本文以Kettle工具为例进行分析;基于全表扫描及哈希对比的数据同步是基于视图完成数据转换,再通过hash算法扫描对比而完成数据同步过程。 相似文献
16.
石少敏 《陕西教育学院学报》2011,27(3):89-93
数据质量在信息管理系统中具有重要意义。然而,由于用户拼写、录入、系统升级等原因导致各种数据质量问题的出现。数据清洗的目的就是检测出脏数据并修复它们。而当前的清洗工具缺乏灵活性和扩展性,基于此,本文提出了一个基于规则和数据学习的通用清洗模型。模型实现了动态规则学习和动态数据学习等关键技术。通过规则匹配和反馈学习过程实现了动态清洗规则最佳选择;通过字段学习和元表学习过程实现了动态数据的初始化。实验证明,应用该模型保证了动态数据的质量,提高了当前清洗工具的灵活性和扩展性。 相似文献