大数据仓库建设方案设计.docx

大数据仓库建设方案设计

目录

一、内容概要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1项目背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2项目目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3文档概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

二、需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

2.1业务需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.2技术需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3安全需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

三、系统架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

3.1系统架构概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

3.2数据仓库架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

3.2.1数据源集成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

3.2.2数据存储架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.2.3数据处理架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.3系统模块设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

3.3.1数据采集模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

3.3.2数据清洗模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.3.3数据加载模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.3.4数据分析模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.3.5数据展现模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

四、数据仓库设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

4.1数据模型设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

4.1.1实体关系模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

4.1.2数据字典．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

4.2数据仓库表结构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

4.2.1事实表设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

4.2.2维度表设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

4.3数据仓库元数据管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

五、技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

5.1数据库技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

5.2数据处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

5.3数据分析技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

5.4数据展现技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

六、系统实施与部署．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

6.1系统环境搭建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

6.2数据迁移与集成．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

6.3