MapReduce环境下周期性批处理作业调度方法中期报告.docx

MapReduce环境下周期性批处理作业调度方法中期报告

一、研究背景和意义

随着大数据技术的不断革新和发展，MapReduce已成为大数据处理技术的标准之一。以Hadoop为代表的MapReduce框架，已成为大数据处理中流行的开源框架。MapReduce框架具有高效的数据处理能力，但是，其默认的计算模式是单次批处理作业模式。而对于周期性批处理作业，调度方法则需要处理其复杂的任务顺序。因此，对于周期性批处理作业调度方法的研究，具有重要的实际意义和应用价值。

二、研究进展

目前，已有很多学者对周期性批处理作业调度方法进行了研究。其中，一些学者基于贪心算法、遗传算法等方法进行调度，但这些方法也存在着一定的缺点，例如算法计算时间较长、容易陷入局部最优解等问题。还有一些学者通过设计可以动态调整的作业调度优化算法来解决这些问题。

在本次研究中，通过综合研究国内外的相关文献和实际应用需求，构建了周期性批处理作业调度的评估模型，该模型能够为方法的选择提供支持，并为各种算法的改进提供理论依据。

三、研究计划

1.继续深入研究经典算法，主要包括贪心算法、遗传算法等，并进一步比较各算法的优劣性，为后续设计完善的作业调度算法提供理论基础。

2.建立一个面向周期性批处理作业调度的集成算法模型。该模型主要由三部分组成：作业特征提取模块、数据建模模块和作业优化调度模块。

3.将设计好的算法采用Hadoop平台作为实验环境，通过真实数据对算法进行评估和验证。并将结果与其他已有的调度算法进行比较。

四、研究难点

1.如何处理大数据中海量作业调度问题。

2.如何在保证算法效率的情况下，保证算法结果的准确性。

3.如何根据不同的作业需求设计出相应的算法。