大数据中心运行可视化平台项目的技术方案设计.docx

大数据中心运行可视化平台项目的技术方案设计

目录

项目概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.1项目背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.2项目目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3项目范围．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

技术需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1功能需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1.1数据采集与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.1.2数据存储与管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.1.3数据分析与挖掘．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.1.4可视化展示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.1.5用户交互与权限管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

2.2非功能需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.2.1性能需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.2.2可靠性需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.2.3安全性需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

2.2.4可扩展性需求．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

技术架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.1系统架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.1.1总体架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

3.1.2模块划分．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.2技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

3.2.1数据采集与处理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

3.2.2数据存储与管理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

3.2.3数据分析与挖掘技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

3.2.4可视化展示技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

3.2.5用户交互与权限管理技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

详细设计方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

4.1数据采集与处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．38

4.1.1数据源接入．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

4.1.2数据清洗与转换．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

4.1.3数据预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

4.2数据存储与管理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

4.2.1数据库设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

4.2.2数据存储策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

4.2.3数据备份与恢复．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

4.3数据分析与挖掘．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

4.3.1