EAST实验数据存储与监控系统的设计与实现.docx

EAST实验数据存储与监控系统的设计与实现

目录

内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.3主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.4论文结构安排．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

相关理论与技术基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.1实验数据管理概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

2.2分布式存储技术分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

2.2.1Hadoop生态体系介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.2.2对象存储方案比较．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

2.3数据监控与可视化技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.3.1监控指标体系构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.3.2可视化表达方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.4东部实验平台特点分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

EAST实验数据存储系统架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.1系统总体架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．23

3.2数据采集与预处理模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

3.2.1数据源接入方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

3.2.2数据清洗与转换流程．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.3数据持久化存储模块．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

3.3.1存储层次结构规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

3.3.2数据冗余与备份策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

3.4数据访问与接口设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

3.4.1API接口规范定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

3.4.2数据服务性能考量．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．36

EAST实验数据监控子系统设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

4.1监控需求与功能定义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

4.2实时监控数据采集设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

4.2.1监控点选取与埋点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

4.2.2数据传输与缓冲机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

4.3数据分析与处理引擎．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

4.3.1异常检测算法应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

4.3.2性能统计与趋势分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

4.4监控可视化界面设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

4.4.1界面布局与交互设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

4.4.2报警与通知机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

系统实现与关键技术应用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．55

5.1开发环境与技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．