Hadoop学习总结之四：Map-Reduce的过程解析.doc
文本预览下载声明
一、客户端
Map-Reduce的过程首先是由客户端提交一个任务开始的。
提交任务主要是通过JobClient.runJob(JobConf)静态函数实现的：
public static RunningJob runJob(JobConf job) throws IOException {
? //首先生成一个JobClient对象
? JobClient jc = new JobClient(job);
? ……
? //调用submitJob来提交一个任务
? running = jc.submitJob(job);
? JobID jobId = running.getID();
? ……
? while (true) {
???? //while循环中不断得到此任务的状态，并打印到客户端console中
? }
? return running;
}
其中JobClient的submitJob函数实现如下：
public RunningJob submitJob(JobConf job) throws FileNotFoundException,
??????????????????????????????? InvalidJobConfException, IOException {
? //从JobTracker得到当前任务的id
? JobID jobId = jobSubmitClient.getNewJobId();
? //准备将任务运行所需要的要素写入HDFS：
? //任务运行程序所在的jar封装成job.jar
? //任务所要处理的input split信息写入job.split
? //任务运行的配置项汇总写入job.xml
? Path submitJobDir = new Path(getSystemDir(), jobId.toString());
? Path submitJarFile = new Path(submitJobDir, job.jar);
? Path submitSplitFile = new Path(submitJobDir, job.split);
? //此处将-libjars命令行指定的jar上传至HDFS
? configureCommandLineOptions(job, submitJobDir, submitJarFile);
? Path submitJobFile = new Path(submitJobDir, job.xml);
? ……
? //通过input format的格式获得相应的input split，默认类型为FileSplit
? InputSplit[] splits =
??? job.getInputFormat().getSplits(job, job.getNumMapTasks());
?
? // 生成一个写入流，将input split得信息写入job.split文件
? FSDataOutputStream out = FileSystem.create(fs,
????? submitSplitFile, new FsPermission(JOB_FILE_PERMISSION));
? try {
??? //写入job.split文件的信息包括：split文件头，split文件版本号，split的个数，接着依次写入每一个input split的信息。
??? //对于每一个input split写入：split类型名(默认FileSplit)，split的大小，split的内容(对于FileSplit，写入文件名，此split在文件中的起始位置)，split的location信息(即在那个DataNode上)。
??? writeSplitsFile(splits, out);
? } finally {
??? out.close();
? }
? job.set(mapred.job.split.file, submitSplitFile.toString());
? //根据split的个数设定map task的个数
? job.setNumMapTasks(splits.length);
? // 写入job的配置信息入job.xml文件??????
? out = FileSystem.create(fs, submitJobFile,
????? new FsPermission(JOB_FILE_PERMISSION));
? try {
??? job.writeXml(out);
? } finally {
??? out.close();
? }
? //真正的调用Job
显示全部