企业级数据仓库的构建与管理.pdf
企业级数据仓库的构建与管理
第1章数据仓库基础概念4
1.1数据仓库的定义与特征4
1.1.1定义4
1.1.2特征4
1.2数据仓库的关键技术4
1.2.1数据抽取、转换和加载（ETL）5
1.2.2数据模型设计5
1.2.3数据存储与优化5
1.2.4数据仓库元数据管理5
1.3数据仓库与数据库的区别5
1.3.1目的性5
1.3.2数据组织5
1.3.3数据一致性5
1.3.4数据更新频率5
1.3.5功能要求5
第2章数据仓库规划与设计6
2.1数据仓库需求分析6
2.1.1业务需求调研6
2.1.2数据需求分析6
2.1.3功能需求分析6
2.2数据仓库架构设计6
2.2.1数据仓库分层设计6
2.2.2数据集成架构6
2.2.3数据存储与索引设计6
2.2.4数据仓库安全策略6
2.3数据模型设计与构建7
2.3.1数据模型概述7
2.3.2数据模型设计原则7
2.3.3数据模型构建方法7
2.3.4数据模型优化7
第3章数据抽取与转换7
3.1数据源分析7
3.1.1数据源类型7
3.1.2数据源质量评估7
3.2数据抽取技术8
3.2.1全量抽取8
3.2.2增量抽取8
3.2.3实时抽取8
3.2.4批量抽取8
3.3数据清洗与转换8
3.3.1数据清洗8
3.3.2数据转换8
第4章数据仓库存储与管理9
4.1数据存储技术9
4.1.1磁盘存储9
4.1.2分布式存储9
4.1.3云存储9
4.2数据分区与索引9
4.2.1数据分区9
4.2.2索引技术9
4.3数据压缩与优化10
4.3.1数据压缩10
4.3.2数据优化10
第5章数据仓库数据集成10
5.1数据集成策略10
5.1.1数据集成概述10
5.1.2数据集成目标10
5.1.3数据集成策略11
5.2数据集成技术11
5.2.1数据集成技术概述11
5.2.2数据抽取技术11
5.2.3数据转换技术11
5.2.4数据加载技术11
5.3数据质量管理11
5.3.1数据质量管理概述11
5.3.2数据质量评估11
5.3.3数据质量监控12
5.3.4数据质量改进12
第6章数据仓库功能优化12
6.1数据仓库查询优化12
6.1.1查询优化策略概述12
6.1.2索引优化12
6.1.3查询重写技术12
6.1.4物化视图技术12
6.1.5数据分区与分片12
6.2数据仓库存储优化12
6.2.1存储优化策略概述12
6.2.2数据压缩13
6.2.3数据归档13
6.2.4存储布局优化13
6.2.5数据缓存技术13
6.3数据仓库维护与监控13
6.3.1数据仓库维护概述13
6.3.2数据备份与恢复策略13
6.3.3数据清洗与整合13
6.3.4功能监控与调优13
6.3.5数