数据仓库结构设计与开发biee.ppt

数据仓库结构设计与开发 1. 数据仓库的发展 2. 数据仓库的概念及特性 3. 数据仓库的结构 4. 数据仓库的开发过程 5. 数据仓库的典型应用 数据仓库的发展 Development of DataWarehouse 数据仓库的发展（1） NCR公司为Wal-mart建立了第一个数据仓库。 1996年，加拿大的IDC公司调查了62家实现了数据仓库的欧美企业，结果表明数据仓库为企业提供了巨大的收益。 IBM的实验室在数据仓库方面已经进行了10多年的研究，并将研究成果发展成为商用产品。 其他数据库厂商在数据仓库领域也纷纷提出了各自的解决方案。 数据仓库的发展（2） IBM: 在其DB2 UDB发布一年后的1998年9月发布5.2版，并于1998年12月推向中国市场，除了用于联机分析处理（ OLAP ）的后台服务器DB2 OLAP Server外，IBM还提供了一系列相关的产品，包括前端工具，形成一整套解决方案。 Informix公司: 在其动态服务器IDS（Informix Dynamic Server）中提供一系列相关选件，如高级决策支持选件（Advanced Decision Support Option）、OLAP选件（MetaCube ROLAP Option）、扩展并行选件（Extended Parallel Option）等，这种体系结构严谨、管理方便、索引机制完善，并行处理的效率更高，其中数据仓库和数据库查询的SQL语句的一致性使得用户开发更加简便。 数据仓库的发展（3） 微软公司: 在其SQL Server7.0以及SQL Server2000中集成了代号为Plato的OLAP服务器。 Sybase: 提供了专门的OLAP服务器Sybase IQ，并将其与数据仓库相关工具打包成Warehouse Studio 。 Oracle公司: 则推出从数据仓库构建、OLAP到数据集市管理等一系列产品包（如Oracle Warehouse Builder、Oracle Express、DataMart Suit等）。 数据大量积累 数据丰富、知识贫乏 数据—信息—知识—效益的转换需求(DSS) OLTP的局限性 事务处理（操作型处理）和分析处理的性能特性不同 OLTP对数据的存取操作频率高而每次操作处理的时间短； 在分析处理环境中，某个DSS应用程序可能需要连续几个小时，从而消耗大量的系统资源。 数据保留最新，量少 数据松散，集成度不高 数据面向应用而非主题 数据质量问题 数据库应用的规模和深度的发展—高级数据库 从在线事务处理(OLTP)到在线分析处理(OLAP)、数据挖掘(Data Mining)和决策支持(DS) 突出的问题 数据库适于存储高度结构化的日常事务细节数据，决策者可能并不关心具体的细节信息；存取操作频率高，操作处理的时间短； 决策型数据多为历史性、汇总性或计算性数据，多表现为静态数据，周期性刷新；多维性，分析内容复杂； 细节数据量太大严重影响分析效率，分散决策者的注意力；连续运行，消耗大量的系统资源；数据来自企业内部或企业外部，在分析时直接对这些数据操作会造成分析混乱。外部一些非结构化数据，数据库系统常无能为力。 多库系统的限制 可用性：源站点或通信网络故障将导致系统瘫痪, 源站点不能通过网络在线联入多库系统。 响应速度：全局查询多级转换和通信传输, 延迟和低层效率影响响应速度。 系统性能：总体性能取决于源站点中性能最低的系统, 影响系统性能的发挥; 系统开销： 每次查询要启动多个局部系统, 通信和运行开销大。 实施数据仓库的条件 数据积累已达到一定规模 面临激烈的市场竞争 在IT方面的资金能得到保障 数据仓库的概念 Data Warehouse 数据仓库已被多种方式定义，使得很难提出一种严格的定义。按照W. H. Inmon这位数据仓库系统构造方面的领头设计师的说法：数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，支持管理部门的决策过程。 与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程——建立数据仓库看作构造和使用数据仓库的过程。 面向主题 典型的主题领域：客户；产品；交易；帐目 集成的 数据提取、净化、转换、装载 非易失的 数据仓库的数据通常是一起载入和访问的，但并不进行一般意义上的数据更新 随时间的变化性 数据仓库中的时间期限要远远长于操作型系统中的时间期限（5~10年）； 数据仓库中的数据是一系列某一时刻生成的复杂的快照； 数据仓库的键码结构总是包含某时间元素。 数据集市 数据集市（data mart）是数据仓库的一个部门子集，它针对