数据仓库技术架构.ppt

数据仓库技术架构;Agenda;架构立方;架构设计原则;体系架构目的;架构定义;目的;参照架构描述;逻辑架构描述;Agenda;Co-located

Dependent

Mart;Teradata可扩展数据仓库系统框架构造;Tier3

SemanticLayer;Agenda;ETL过程;【构成部分】

业务系统

不一样平台

不一样编码

抽取成文献形式或数据库镜像

【存在形式】

文本文献

数据库文献

关系数据库RDBMS及其对象如View（在线数据）;工作范围

定义源数据范围

确定源数据接口

挑战

数据抽取或影响业务系统性能

业务系统无法抽取出对的的增量数据

业务系统抽取全量数据，时间窗口无法保证

处理方案

业务系统提供增量数据

或者，业务系统提供全量数据

在Teradata数据库内比对找出增量

或者，业务系统直接提供全量数据库文献（中国证券登记结算企业）

由ETL系统解码后加载到Teradata数据库内

运用Teradata强大的并行性能进行比对，从而找出对的的增量数据;2、数据导入层(ETL);挑战

ETL开发工作量巨大，怎样有效减少工作量，提高生产效率

怎样有效管理控制ETL流程

怎样实行数据质量管理

处理方案

TeradataMinerva

DWAutomation

DQC;ETL脚本自动生成工具Minerva

与流程管理工具DWAutomation;数据质量管理总体架构-DQC;3、数据存储与管理层(中央数据库);挑战

怎样保证数据模型的稳定性和灵活性

数据粒度怎样划分

处理方案

采用FS-LDM，为国内同业广泛采用

最符合国内当地化实践的数据模型

业内最富实践经验的模型设计师

合理规划数据存储区域与存储粒度;财务;数据存储区域与粒度规划;4、中间服务层(业务应用);5、访问控制层;;5.2EDW应用门户与企业门户的集成;

;元数据存储库（;8、顾客安全管理及系统安全管理;9、系统管理与维护;Agenda;;;开发测试代码及数据迁移流程;数据仓库系统环境阐明;数据仓库系统环境阐明（续）;数据仓库与应用系统环境之间的关系;数据仓库与其所支持的应用系统开发及测试环境之间数据依赖关系;Agenda;决定温度的原因:

数据访问的频度

数据更新的频度

数据的维护

历史的深度;多温度的技术优势;It’sallaboutworkloadmanagement!;ComparingDWEvolutiontoDWMaturity;;ActiveDataWarehouseElements;Transactional(OLTP);DatabaseWorkloadContinuum;DualActive处理方案架构;DualActive的长处;DWRoadmap;;Evolutionto“ServiceOrientedArchitecture”;Questions.....