数据粒度计算在大数据处理中的应用.docx

数据粒度计算在大数据处理中的应用

目录

一、内容概览．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2相关概念界定．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

1.2.1大数据环境概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.2.2数据粒度分析阐释．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.4本文研究内容与结构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．12

二、数据粒度计算理论基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

2.1数据粒度基本概念．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

2.2数据粒度层次模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

2.3数据粒度变换方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

2.4数据粒度相关理论支撑．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．21

三、大数据处理技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.1大数据处理需求分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.2大数据处理核心框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

3.2.1分布式存储技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

3.2.2并行计算模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

3.3常用大数据处理工具与平台．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．33

3.4大数据处理面临挑战．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

四、数据粒度计算在大数据处理中的具体应用．．．．．．．．．．．．．．．．．35

4.1数据存储与组织优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．40

4.1.1粒度自适应存储策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

4.1.2存储资源有效利用．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

4.2数据查询与分析效率提升．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．44

4.2.1粒度敏感查询处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．46

4.2.2分析任务并行化执行．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

4.3数据挖掘与知识发现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

4.3.1聚类分析粒度影响．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．51

4.3.2关联规则挖掘粒度选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

4.4数据可视化呈现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

4.4.1不同粒度信息可视化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

4.4.2可视化交互与探索．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

五、数据粒度计算应用的性能评估．．．．．．．．．．．．．．．．．．．．．．．．．．．58

5.1评估指标体系构建．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．59

5.2实验环境与数据集设置．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

5.3应用效果对比分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．61

5.3.1处理效率对比．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．62

5.3.2资源消耗分析．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．63