数据仓库的数据模型、数据组织、数据仓库设计.ppt

占用大量资源，影响系统性能，不实用04问题05前后映象文件的方法：抽取数据到数据仓库之后,本次将抽取数据之前，对数据库分别作一次快照，比较两幅快照的不同，确定追加的数据01方法简单03优点02缺点日志文件法：通过分析数据库系统日志文件来获取数据变化的情况，得到追加内容。利用DB的固有机制，数据只限于日志文件，不用扫描整个数据库优点原来日志文件的格式是依据DB系统的要求设计的。要进行改进。如：对一个记录的多次更新，日志文件将全部变化过程都记录下来，而数据仓库，只要最终结果本章要点第4章数据仓库设计**-数据仓库的设计原则1数据仓库的设计步骤2数据仓库生成3数据仓库的使用与维护4数据仓库设计**-1事务型数据处理中需要作数据库设计，而在分析型数据处理中则需作数据仓库设计，这两者在原理上是一致的。2因此，数据库设计中的很多设计思想与方法都可在数据仓库中得到应用。3但是由于事务型与分析型的数据处理的不一致，因此两者在设计中的很多方面也存在着差别。面向OLTP的数据库设计有着明确的应用需求，严格遵循系统生命周期的阶段划分，每个阶段都规定有明确的任务，上一阶段确定的任务完成后，产生一定格式的文档交给下一阶段。数据仓库是面向主题的、集成的、不可更新的、随时间的变化而不断变化的，这些特点决定了数据仓库的系统设计不能采用同开发传统的OLTP数据库一样的设计方法。12系统设计的目标不同：数据库是面向事务型处理的，所以事务型处理性能是系统设计的一个主要目标。而数据仓库是为了支持决策分析而建立的一种数据存储集合，在系统设计时，更关心的是建立起一个全局一致的分析型处理环境来支持企业的决策分析。数据仓库的设计－与数据库设计的区别数据仓库的设计－与数据库设计的区别(Cont.)面向的需求不同：数据库系统是面向应用的，所以在系统设计时应以此为出发点和基础。而在决策分析时，决策者分析问题的角度多种多样，所以数据处理流和信息流不固定，甚至决策者对所要进行的分析处理都不太明了，数据的分析处理的需求更灵活。这就决定了在数据仓库系统设计时，不可能从用户需求出发来进行设计。数据仓库的设计－与数据库设计的区别(Cont.)数据来源不同：数据库系统中数据是从企业外部通过输入得到的，所以系统设计时就是设计如何与外部对话得到数据，如何存储这些数据，它关心的是数据的安全性和完整性等。数据仓库中的数据大部分是从企业内部的数据库系统得到的，还有一部分是企业外部的非结构化数据，这些数据都是安全可靠且正确有效的，所以在系统设计时它关心的不是数据的安全性和完整性，而是数据的一致性。数据仓库的设计－与数据库设计的区别(Cont.)数据的处理类型不同：数据库系统支持的是事务型处理，主要指数据的增、删、改、查等等，系统设计时都是针对某一具体应用。数据仓库是面向分析的，它的数据处理大都是对数据的复杂查询，所以在设计时考虑的是如何更好地面向主题等。数据仓库的设计－与数据库设计的区别(Cont.)设计方法不同：由于在数据库系统中业务过程和规则比较规范固定，系统设计人员能清楚的知道应用需求和数据流程，所以系统设计一般采用系统生命周期法(SystemsDevelopmentLifeCycle，SDLC)。在决策分析时，决策人员往往无法给决策需求一个规范的说明，只能给出一个模糊的描述，对这种需求不确定的开发过程，设计方法有很大的不同，采用与SDLC相反的CLDS法。(注:CLDS没有具体意义,只是字母排列顺序与SDLC相反。SDLC起始于需求，CLDS起始于数据。)收集应用需求分析应用需求构建数据库数据仓库建模数据获取与集成构建数据仓库系统实施应用编程系统测试DSS应用编程系统测试理解需求DB应用B应用ADBDB外部数据DWSDLC方法CLDS方法SystemsDevelopmentLifeCycle生命周期的比较**-SDLCCLDS需求汇总实现分析集成数据设计偏差测试编程针对数据的编程测试分析结果集成理解需求**-信息包图：是数据仓库的数据模型的第一层或最高层。由于大多数商务数据是多维的，但传统的数据模型表示三维以上的数据有一定困难。而信息包图简化了这一过程并且允许用户设计多维信息包并与开发者和其他用户建立联系。这种模型集中在用户对信息包的需要，信息包提供了分析人员思维模式的可视化表示。工作：确定系统边界：决策类型、需要的信息、原始信息确定主题域及其内容：主题域的公共键、联系、属性组确定维度：如时间