尚学堂Hadoop入门教程[一]如何使用Hadoop分析数据.doc

北京尚学堂提供 Hadoop从这里开始!和我一起学习下使用Hadoop的基本知识，下文将以Hadoop Tutorial为主体带大家走一遍如何使用Hadoop分析数据! 这个专题将描述用户在使用Hadoop MapReduce(下文缩写成MR)框架过程中面对的最重要的东西。Mapreduce由client APIs和运行时(runtime)环境组成。其中client APIs用来编写MR程序，运行时环境提供MR运行的环境。API有2个版本，也就是我们通常说的老api和新api。运行时有两个版本：MRv1和MRv2。该教程将会基于老api和MRv1。 其中:老api在org.apache.hadoop.mapred包中,新api在 org.apache.hadoop.mapreduce中。 前提 MR概览 MR作业通常将数据集切分为独立的chunk，这些chunk以并行的方式被map tasks处理。MR框架对map的输出进行排序，然后将这些输出作为输入给reduce tasks处理。典型的方式是作业的输入和最终输出都存储在分布式文件系统(HDFS)上。 通常部署时计算节点也是存储节点，MR框架和HDFS运行在同一个集群上。这样的配置允许框架在集群的节点上有效的调度任务，当然待分析的数据已经在集群上存在，这也导致了集群内部会产生高聚合带宽现象（通常我们在集群规划部署时就需要注意这样一个特点）。 MapReduce框架由一个Jobracker（通常简称JT）和数个TaskTracker（TT）组成（在cdh4中如果使用了Jobtracker HA特性，则会有2个Jobtracer，其中只有一个为active，另一个作为standby处于inactive状态）。JobTracker负责在所有tasktracker上调度任务，监控任务并重新执行失败的任务。所有的tasktracker执行jobtracker分配过来的任务。 应用至少需要制定输入、输出路径，并提供实现了适当接口和(或)抽象类的map和reduce函数。这些路径和函数以及其他的任务参数组成了任务配置对象（job configuration）。Hadoop 任务客户端提交任务（jar包或者可执行程序等）和配置对象到JT。JT将任务实现和配置对象分发到数个TT（由JT分配），调度、监控任务，并向客户端返回状态和检测信息。 Hadoop由JavaTM实现,用户可以使用java、基于JVM的其他语言或者以下的方式开发MR应用： Hadoop Streaming- 允许用户以任何一种可执行程序（如shell脚本）实现为mapper和(或)reducer来创建和运行MR任务。 Hadoop Pigs – 一种兼容SWIG(不基于JNITM)的C++ API，用来实现MapReduce应用。 输入和输出 key和vaue的类型必须在框架内可序列化(serializable)，所以key value 必须实现Writable接口。同时，key 类必须实现WritableComparable以便框架对key进行排序。 典型的MR任务输入和输出类型转换图为：(input) k1-v1 - map - k2-v2 - combine - k2-v2 - reduce - k3-v3 (output) 经典的WordCount1.0 简单说下WordCount,它是计算输入数据中每个word的出现次数。因为足够简单所以经典，和Hello World有的一拼! 上源码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 package org.myorg; ? ????import java.io.IOException; ????import java.util.*; ? ????import org.apache.hadoop.fs.Path; ????import org.apache.hadoop.conf.*; ????import org.apache.hadoop.io.*; ????import org.apache.hadoop.mapred.*; ????import org.apache.hadoop.util.*; ? ????public class WordCount { ? ??????public static class Map extends MapReduceBase implements