Hadoop大数据存储与检索性能优化研究.docx

Hadoop大数据存储与检索性能优化研究

目录

内容概括．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.1研究背景．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

1.2研究意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．5

1.3国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

Hadoop技术概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

2.1Hadoop架构介绍．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

2.2Hadoop生态系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．10

2.3Hadoop的优缺点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．14

大数据存储技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．16

3.1数据存储模型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

3.1.1分布式文件系统．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．18

3.1.2数据块存储．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．20

3.2数据压缩与编码．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

3.2.1压缩算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．25

3.2.2编码格式．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

3.3数据备份与恢复．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．28

3.3.1数据备份策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．29

3.3.2数据恢复机制．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．31

大数据检索技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

4.1索引技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

4.1.1基于哈希的索引．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．35

4.1.2基于范围的索引．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．37

4.2查询处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

4.2.1查询优化算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

4.2.2查询执行策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．42

4.3结果排序与合并．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．45

4.3.1结果排序算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

4.3.2结果合并技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．48

性能优化策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

5.1资源调度优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

5.1.1资源分配策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．52

5.1.2任务调度算法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

5.2存储层优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．57

5.2.1数据分片技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

5.2.2副本策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

5.3查询层优化．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．