3 数据仓库设计.ppt

集成的数据 操作型数据库 数据仓库 面型特殊应用 集成的 每一个数据库面向特定的应用，各类应用之间相互独立 数据仓库中的数据从建立时开始，面向真个企业的分析处理，数据仓库中的数据是已经集成了的，消除了数据的不一致性 系统的发展经历一个长期的过程 在某个时间点完成设计，实现需要经历一个长期的不断迭代的过程 集成的数据 消除冲突：不一致，同名异义、异名同义、单位不统一等等，需要进行数据清理 数据的综合和计算 Data Warehouse OLTP Applications Savings Current Accounts Loans Customer 反映历史变化 操作型数据库 数据仓库 60-90天数据 5-10年数据 记录能被更新 数据的复杂快照 码中不一定包括时间元素 码中包括时间元素 主要关心当前数据 通常关心历史数据 Data Warehouse 反映历史变化 码键包含时间项 不断增加新的数据内容 删除过时的数据 与时间有关的综合数据：随时间变化而重新组合 相对稳定 操作型数据库 数据仓库 实时更新 在某个时间点保持不变 随时更新 定期加载，加载后的数据极少更新 数据根据需要进行变化，并不是按照一定周期进行修改 并不意味这数据仓库中的数据不更新 Read Load Insert, Update, Delete, or Read 相对稳定 Operational Databases Warehouse Database First time load Refresh Refresh Refresh Purge or Archive 数据仓库、OLTP 数据库对比 Property OLTP Data Warehouse Response Time Sub seconds to seconds Seconds to hours Operations DML Primarily Read only Nature of Data 30 – 60 days Snapshots over time Data Organization Application Subject, time Size Small to large Large to very large Data Sources Operational, Internal Operational, Internal, External Activities Processes Analysis 数据仓库设计 数据仓库设计 数据仓库设计方法概述 DW设计与DB设计 DW设计的三级数据模型 性能问题 数据仓库元数据 数据仓库设计 数据仓库设计步骤 概念模型设计 逻辑模型设计 物理模型设计 数据仓库生成 数据抽取、转换、清洗和装载 DW设计与DB设计方法比较 DB DW 处理类型 操作型数据环境，面向业务 面向主题的分析型数据环境，面向分析，从基本主题开始，不断发展新主题 面向需求 一组较确定的应用（业务处理）需求；较确定的数据流 需求不确切（定）；分析处理需求灵活；没有固定模式；用户对分析处理需求不甚明了；其设计很难以需求为基础 设计目标 事务处理的性能，支持多用户并发访问，高效的增、删、改操作 建立DSS的数据环境，全局的分析环境，支持用户快速的分析和查询 数据来源 企业的业务流程中产生的数据 系统内部，主要从OLTP系统中获取，经过转换、重组、综合；同时包括部分外部信息 设计方法 应用需求驱动 数据驱动+需求驱动 数据仓库设计的原则 坚持“以数据驱动为中心，数据驱动和需求驱动相结合”的原则 数据驱动是指根据当前数据基础和质量等情况，进行数据源分析 需求驱动是指根据业务方向性需求、业务问题等，确定系统范围和需求框架 数据仓库设计三级数据模型 概念模型：“信息世界”中的信息结构，用E-R方法，以主题替代实体 逻辑模型：一般采用关系模型 物理模型：物理存储结构、存储方法 概念模型设计 确定系统边界 了解需求：需求类型、决策者关注点 确定数据数据覆盖范围 了解源数据状况 确定主题域 确定系统包含的主题 确定各主题属性组和连接键 主题域之间的联系 逻辑模型设计 将主题域包含的内容转化为主题域包含若干个数据组（表） 将主题域之间的关系细化、转换为表与表之间的关系 增加时间属性 粒度层次划分 粒度划分 粒度：数据的综合程度 例如：细节——轻度综合——高度综合 YEAR? QUARTER? MONTH? WEEK? DAY? 数据的粒度 销售额：250,000,000.00元 数据的粒度 销售额：250,000,000.00元 2009 2010 2011 2012 数据的粒度 销售额：250,000,000.00元 2009 2010 2011 2012 华中 华南 华北