【2017年整理】Hadoop应用实例：基于Hadoop的大规模数据排序算法.doc

信息工程学院 网络工程——基于Hadoop的大规模数据排序算法 第 PAGE23页 (共 NUMPAGES23页) 基于Hadoop的大规模数据排序算法 网络工程——终期报告 基于Hadoop的大规模数据排序 小组成员： 组长：韩旭红 1091000161 组员：李巍 1091000167 组员：李越 1091000169 组员：闫悦 1091000178 组员：焦天禹 1091000163 目录 TOC \o 1-4 \h \z \u HYPERLINK \l _Toc309740071 一、 前言 PAGEREF _Toc309740071 \h 4 HYPERLINK \l _Toc309740072 二、 Hadoop及Mapreduce的相关介绍 PAGEREF _Toc309740072 \h 4 HYPERLINK \l _Toc309740073 1. Hadoop PAGEREF _Toc309740073 \h 4 HYPERLINK \l _Toc309740074 （1） Hadoop简介 PAGEREF _Toc309740074 \h 4 HYPERLINK \l _Toc309740075 （2） Hadoop架构 PAGEREF _Toc309740075 \h 5 HYPERLINK \l _Toc309740076 （3） 分布式计算模型 PAGEREF _Toc309740076 \h 5 HYPERLINK \l _Toc309740077 2. Mapreduce PAGEREF _Toc309740077 \h 5 HYPERLINK \l _Toc309740078 （1） map reduce 和hadoop起源 PAGEREF _Toc309740078 \h 5 HYPERLINK \l _Toc309740079 （2） mapreduce工作流程 PAGEREF _Toc309740079 \h 6 HYPERLINK \l _Toc309740080 （3） 运行环境 PAGEREF _Toc309740080 \h 7 HYPERLINK \l _Toc309740081 （4） 输入与输出 PAGEREF _Toc309740081 \h 7 HYPERLINK \l _Toc309740082 （5） Map/Reduce - 用户界面 PAGEREF _Toc309740082 \h 7 HYPERLINK \l _Toc309740083 三、 大规模数据排序 PAGEREF _Toc309740083 \h 8 HYPERLINK \l _Toc309740084 1. 简介 PAGEREF _Toc309740084 \h 8 HYPERLINK \l _Toc309740085 2. Nutch PAGEREF _Toc309740085 \h 9 HYPERLINK \l _Toc309740086 四、 算法分析 PAGEREF _Toc309740086 \h 10 HYPERLINK \l _Toc309740087 1. Sort算法分析 PAGEREF _Toc309740087 \h 10 HYPERLINK \l _Toc309740088 （1） 排序实例 PAGEREF _Toc309740088 \h 10 HYPERLINK \l _Toc309740089 （2） 运行排序基准测试 PAGEREF _Toc309740089 \h 10 HYPERLINK \l _Toc309740090 （3） 代码分析 PAGEREF _Toc309740090 \h 10 HYPERLINK \l _Toc309740091 2. Secondsort算法分析 PAGEREF _Toc309740091 \h 12 HYPERLINK \l _Toc309740092 （1） 工作原理 PAGEREF _Toc309740092 \h 12 HYPERLINK \l _Toc309740093 （2） 具体步骤 PAGEREF _Toc309740093 \h 12 HYPERLINK \l _Toc309740094 （3） SecondarySort.java的部分代码 PAGEREF _Toc309740094 \h 13 HYPERLINK \l _Toc309740095 3. Terasort算法分析 PAGERE