数据仓库建设实施总结方案.pdf
上传人:13****51 上传时间:2024-09-12 格式:PDF 页数:7 大小:1.9MB 金币:10 举报 版权申诉
预览加载中,请您耐心等待几秒...

数据仓库建设实施总结方案.pdf

数据仓库建设实施总结方案.pdf

预览

在线预览结束,喜欢就下载吧,查找使用更方便

10 金币

下载此文档

如果您无法下载资料,请参考说明:

1、部分资料下载需要金币,请确保您的账户上有足够的金币

2、已购买过的文档,再次下载不重复扣费

3、资料包下载后请先用软件解压,在使用对应软件打开

数据仓库建设实施总结方案数据库房概括经过多年IT的建设,信息关于XX的平时管理已经日趋重要,并渐渐成为重要的信息财产,信息财产的管理已经成为平时管理中一个特别重要的环节。怎样管理和利用好XXX内部纷纷的数据也愈来愈成为信息管理的一项重要工作。在过去相当一段时间内,XX业务系统的建立主要环绕着业务的数据睁开,应用的建立多是自下而上建立,主要以知足某个部门的业务功能为主,我们称之为业务办理的时代。这样的建立方式造成了一个个分立的应用,分立的应用致使了一个个的静态竖井。因为数据附属于应用,缺少XX全局的单调视图,形成了一个个信息孤岛,分立的系统之间缺少交流,相同数据的孤岛致使只好获取片面的信息,而不是全局的单一视图。储存这些信息的载体可能是各样异构或同构的关系型数据库,也有可能是XML、EXCEL等文件。所以,建立新一代的一体化平台提上了日程并最后促成全域数据的管理方式,目的是覆盖XXX各个环节的重点业务数据,完美元数据管理,形成全局的数据词典、业务数据规范和一致的业务指标含义,能够灵巧的获取XXX业务数据的单调视图(需要保证数据的一致性、完好性、正确性和及时性)。数据的互换和共享主要发生在上下级组织机构之间或同级的不一样部门之间。最后,这些数据能够为部队剖析、决议支持(多维剖析、即席查问、数据发掘)等应用供给更及时、正确、有效的支持。数据库房的目标是实现跨系统数据共享,解决信息孤岛,提高数据质量,协助决议剖析,供给一致的数据服务。同时,数据库房的建立也面对着各样挑战,1/17数据仓库建设实施总结方案比方信息整合在技术上的复杂度、信息整合的管理成本、数据资源的获取、信息整合的实行周期以及整合项目的风险等。储存2/27数据仓库建设实施总结方案全域数据库整体架构显现门户手机平板电脑PC层一致受权服务单点登录多即报统预流数空其应剖析维席表计测程据间他用型管分查统分分整整数应理层析询计析析合合据用信IT基础服事规协主数大数知识空间应用工作信息数据综务OLAP件则同据管据分内容地理息服务服务流引中间发掘总引擎驱引工理引析引管理数据IT合层器擎件引擎治线动擎作擎擎引擎引擎安监理全控、运元数据维数管储存数据库房特点库MDMH共享数据大流媒体地理数据展望数据据区OSD数据市集模型库UB库数据数据理管理互换数据数据数据数据大数信息流程信息交互信息服务联邦复制冲洗变换据流行列服务服务服务服务系统数据层(ISB)应用层关系型数据源非关系型数据源传感器/监控数据源中心业务边防一体化其余XMLExcelWeb服务信息行列文本数据摄像头虚构传感器智能传感器基础设备层(网络、储存、硬件、系统软件)全域数据库整体架构全域数据库整体的层次,最下边是基础架构层,主要包含支撑这一架构运转的主机系统、存贮备份系统、网络系统等内容。从下往上看,再上边是数据源层,既包含各个业务的关系型数据源、内容管理数据源也包含半构造化数据源比方、XMLEXCEL等,也包含各个总队、支队的业务数据源。数据源层之上是“互换服务系统”,主要包含信息服务总线和服务总线两部分。信息服务总线主要实现数据层的信息整合和数据变换,而服务总线主要实现应用层的信息互换和整合。信息服务总线主要依靠联邦、复制、冲洗、变换等技术实现,其主要包含信息整合服务和冲洗变换加载服务两部分。经过信息服务总线的信息整合服务(数据联邦、复制),能够透明、及时的接见散布在总队和支队的各个业务系统中的各样同构、异构数据(前提是拥有足够的权限)。信息整合服务在整个层面保证XXX储存3/37数据仓库建设实施总结方案了数据的完好性和及时性。信息服务主要使用两种技术来达成这一功能:联邦和复制。经过联邦功能能够把关系数据、半构造化数据(如文件、文件、ExcelXMLWeb搜寻引擎、MQ查问和内容源)构成一个逻辑数据库,对这些数据源中的表能够像操作当地数据库表相同进行操作,而不用关怀我们操作的这些数据基层是什么数据源,物理在什么地点。而针对大数据量的数据接见或高并发的接见,往常将源数据增量及时复制到当地,复制的实现是鉴于对源数据库的日记进行捕捉,获取增量数据,并鉴于信息的体制将其复制到目的数据库,复制的过程中能够实现数据的归并、拆分、变换等操作。信息服务总线主要达成数据的剖析、冲洗(标准化)、变换、加载等工作。数据清洗,主假如去除冗余数据,将零落字段归并成全局记录,并解决重叠和矛盾的数据,