一种优化MapReduce系统能耗的任务分发算法_宋杰课案.docx

第３９卷第２期２０１６年２月计算机学报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳＶｏｌ．３９Ｎｏ．２Ｆｅｂ．２０１６一种优化ＭａｐＲｅｄｕｃｅ系统能耗的任务分发算法）宋杰１徐澍１郭朝鹏１鲍玉斌２于戈２））））１）（东北大学软件学院沈阳１１０８１９）２）（东北大学信息科学与工程学院沈阳１１０８１９）摘要ＭａｐＲｅｄｕｃｅ是一种典型的分布式计算模型，一经提出就被迅速应用到大数据处理系统中．文中认为ＭａｐＲｅｄｕｃｅ系统在能耗方面存在优化空间．对于一个分布式并行计算系统，任务的并行性对任务执行性能影响显著，并行性保证方法在优化性能的前提下还应该考虑系统能耗．在ＭａｐＲｅｄｕｃｅ系统中，传统的Ｍａｐ任务分发算法采用“小任务多次分发的策略”，这种策略虽然保证了并行性，但会浪费节点的处理能力，消耗额外的能量；而Ｒｅｄｕｃｅ任务分发算法尚不能保证Ｒｅｄｕｃｅ任务间的并行性．文中提出通过动态地调整Ｍａｐ任务和Ｒｅｄｕｃｅ任务大小，也即任务处理数据量的规模来保证任务并行性，降低ＭａｐＲｅｄｕｃｅ系统的整体能耗．文中通过实验证明该方法能够有效地降低典型ＭａｐＲｅｄｕｃｅ作业的能耗．关键词ＭａｐＲｅｄｕｃｅ；能耗；能耗优化；任务分发；并行性；云计算；大数据中图法分类号ＴＰ３１１ＤＯＩ号１０．１１８９７／ＳＰ．Ｊ．１０１６．２０１６．００３２３ＡＴａｓｋＤｉｓｔｒｉｂｕｔｉｏｎＡｌｇｏｒｉｔｈｍｆｏｒＥｎｅｒｇｙＣｏｎｓｕｍｐｔｉｏｎＯｐｔｉｍｉｚａｔｉｏｎｏｆＭａｐＲｅｄｕｃｅＳｙｓｔｅｍＳＯＮＧＪｉｅ１）ＸＵＳｈｕ１）ＧＵＯＣｈａｏ－Ｐｅｎｇ１）ＢＡＯＹｕ－Ｂｉｎ２）ＹＵＧｅ２）１）（ＳｏｆｔｗａｒｅＣｏｌｌｅｇｅ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ１１０８１９）２）（ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，ＮｏｒｔｈｅａｓｔｅｒｎＵｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ１１０８１９）ＡｂｓｔｒａｃｔＷｈｉｌｅＭａｐＲｅｄｕｃｅｉｓｐｒｏｐｏｓｅｄａｓａｔｙｐｉｃａｌｄｉｓｔｒｉｂｕｔｅｄｃｏｍｐｕｔｉｎｇｍｏｄｅｌ，ｉｔｃａｕｓｅｄａｈｕｇｅｒｅｐｅｒｃｕｓｓｉｏｎａｎｄａｐｐｌｉｅｄｒａｐｉｄｌｙｔｏｂｉｇｄａｔａｐｒｏｃｅｓｓｉｎｇ．Ｈｏｗｅｖｅｒ，ｉｔｓｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｓｔｉｌｌｃａｎｂｅｏｐｔｉｍｉｚｅｄ，ｆｏｒｔｈｅｄｉｓｔｒｉｂｕｔｅｄｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｓｙｓｔｅｍ，ｔｈｅｐａｒａｌｌｅｌｉｓｍｏｆｔａｓｋｓｉｓｔｈｅｋｅｙｔｏｐｅｒｆｏｒｍａｎｃｅ，ｔｈｅｐａｒａｌｌｅｌｉｓｍｅｎｓｕｒｉｎｇａｐｐｒｏａｃｈｓｈｏｕｌｄｃｏｎｓｉｄｅｒｎｏｔｏｎｌｙｔｉｍｅｃｏｎｓｕｍｐｔｉｏｎｂｕｔａｌｓｏｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ．Ｉｎｏｒｄｅｒｔｏｉｍｐｒｏｖｅｔｈｅｐａｒａｌｌｅｌｉｓｍ，ｔｈｅｔｒａｄｉｔｉｏｎａｌＭａｐｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｕｓｅｔｈｅ“ｆｉｎｅｇｒａｎｕｌａｒｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎｓｔｒａｔｅｇｙ”ｔｏｉｍｐｒｏｖｅｔｈｅｐａｒａｌｌｅｌｉｓｍ，ｂｕｔｉｔｗａｓｔｅｓｔｈｅｅｎｅｒｇｙ；ａｎｄＲｅｄｕｃｅｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎａｌｇｏｒｉｔｈｍｃａｎｎｏｔｇｕａｒａｎｔｅｅｔｈｅｐａｒａｌｌｅｌｉｓｍａｍｏｎｇｔｈｅＲｅｄｕｃｅｔａｓｋｓ．Ｉｎｔｈｉｓｐａｐｅｒ，ｗｅｏｐｔｉｍｉｚｅＭａｐＲｅｄｕｃｅｂｙａｄｊｕｓｔｉｎｇｔｈｅｓｉｚｅｏｆＭａｐｔａｓｋｓａｎｄＲｅｄｕｃｅｔａｓｋｓｄｙｎａｍｉｃａｌｌｙ，ｗｈｉｃｈｃａｎｓａｖｅｅｎｅｒｇｙｃｏｎｓｕｍｅｄｂｙＭａｐＲｅｄｕｃｅｓｙｓｔｅｍ．Ｔｈｅａｌｇｏｒｉｔｈｍｐｒｏｐｏｓｅｄｔｏｔｈｉｓｐａｐｅｒｈａｓｂｅｅｎｐｒｏｖｅｄｅｆｆｅｃｔｉｖｅｉｎｒｅｄｕｃｉｎｇｔｈｅｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｔｈｒｏｕｇｈａｓｅｒｉｅｓｏｆｅｘｐｅｒｉｍｅｎｔｓ．ＫｅｙｗｏｒｄｓＭａｐＲｅｄｕｃｅ；ｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎ；ｅｎｅｒｇｙｃｏｎｓｕｍｐｔｉｏｎｏｐｔｉｍｉｚａｔｉｏｎ；ｔａｓｋｄｉｓｔｒｉｂｕｔｉｏｎ；ｐａｒａｌｌｅｌｉｓｍ；ｃｌｏｕｄｃｏｍｐｕｔｉｎｇ；ｂｉｇｄａｔａ收稿日期：２０１４－０８－２５；在线出版日期：２０１５－０７－２３．本课题得到国家自然科学基金６１２０２０８８６１１７３０２８）、教育部博士点基金（２０１２００４２１１００２８）、教育部－英特尔信息技术专项科研基金（ＭＯＥ－ＩＮＴＥＬ－２０１２－０６）、中央高校基本科研业务费专项资金（Ｎ１３０４１７００１）、中国博士后科学基金面上项目（２０１３Ｍ５４０２３２）、辽宁省博士启动基金