Ｌｉｎｕｘ高性能计算集群的设计与实现.doc

Ｌｉｎｕｘ高性能计算集群的设计与实现 　　摘要：计算机和网络硬件设备逐步实现商品化和标准化，PC机或工作站的性能越来越高而价格越来越便宜，同时开源Linux微内核及集群工具中间件技术也日趋成熟稳定，高性能计算集群逐渐发展起来，并成为主流的高性能计算平台。 　　高性能计算集群逐渐替代专用、昂贵的超级计算机对大规模并行应用构建原型、调试和运行。 　　基于PCs或工作站的高性能计算快速部署及其可靠性和可管理性研究，对高性能计算集群在科学研究和工程计算等领域的应用，促进高性能计算技术的应用方面具有深远的意义。 　　本文以OSCAR集群为实例，部署一个五结点的集群环境并运行简单的并行测试例子。 　　关键词：高性能计算；集群；OSCAR；MPI；并行计算 　　中图分类号：TP312文献标识码：A文章编号：1009-3044(2008)14-20971-03 　　 　　1 引言 　　 　　自20世纪90年代早期以来，昂贵而特制的并行超级计算机逐渐向由单个或多个处理器的PCs或工作站[1]组成的价廉、通用、松耦合的系统转换，而促成该转换的主要驱动力是高性能工作站和网络部件的快速商品化。这些技术的发展使网络化计算机（PCs或工作站）成为并行处理的理想工具，从而导致了普通商品化超级计算机的出现。 　　自1994年美国航空航天局（NASA）的Goddard航天中心采用16个66MHz 处理器的PCs和10Mbit/s 以太网组成了第一个计算机集群系统（Beowulf Cluster）[2]以来，随着计算机制造技术的飞速发展，硬件设备逐步实现商品化和标准化，PC机的性能越来越高而价格越来越低；同时开源的Linux操作系统内核及集群工具套件（Cluster Toolkit）也日趋成熟稳定，高性能计算集群逐渐发展起来，成为主流的高性能计算平台，在2007年11月Top500的分析报告中，采用集群架构的超级计算机系统已占81.2%[3]。 　　使用高性能计算集群对并行应用构建原型、调试、运行逐渐替代使用专用，特别是昂贵的并行计算平台。一些集群软件工具套件已经具有很多的整合性、可管理性、易配置，例如OSCAR[4, 6]等工具套件。研究基于PCs或工作站的高性能计算集群快速部署及其可管理性和可靠性研究，对高性能计算集群在科学研究和工程计算等领域的应用，促进高性能计算技术的应用方面具有深远的意义。 　　 　　2 集群系统架构 　　 　　高性能计算集群是一种并行处理系统，由多个连接在一起的独立计算机组成，像一个单独集成的计算资源一样协同工作[5]，用来解决具有重大挑战的问题。集群是全体计算机（结点）的集合，这些计算机由高性能网络或局域网物理互连。一般情况下，每个计算机结点是一台PC机、工作站或SMP服务器。重要的是，所有集群结点能一起协同工作，如同一个单一集成的计算资源提供服务。集群概念带来了许多好处，其中重要的是能用性、可用性、可扩展性和性能价格比。 　　从硬件架构看，集群结点可以是PCs、工作站、SMP服务器，甚至子集群。但集群各结点在保持本身计算机系统完备性的同时，能够相互协作，形成单一、集成的计算资源。典型集群系统包括下列结构组件[5]，如图1所示。 　　多个高性能计算机（PCs、工作站或SMP）； 　　分层或微内核结构的操作系统； 　　高性能互连网络； 　　网络接口卡； 　　快速通信协议与服务； 　　含单一系统映像（SSI）、高可用性（HA）工具和资源管理与调度的集群中间件； 　　诸如消息传递接口（MPI）[8]等并行编程环境与工具； 　　串行、并行或分布式等应用。 　　 　　3 集群系统构建 　　 　　2001年，Open Cluster Group发布开源集群应用资源（Open Source Cluster Application Resources，OSCAR）。该集群工具套件具有以下特点：统一框架中安装、配置和管理集群；基于向导（Wizard）的集群组件安装；统一的结点映像。OSCAR集群工具套件提供了构建和运行一个高性能计算集群所需要的工具。在安装OSCAR的同时也默认安装了并行编程环境MPI、PVM及作业调度系统PBS等软件包。其中系统安装套件 （SIS），集群控制工具套件（C3），环境切换器（switcher）和OSCAR向导用于集群系统的安装和配置。SIS是一个基于映像的安装包，可通过使用SIS来引导节点的安装：内核引导，磁盘分区，和操作系统的安装等。C3方便并行命令的执行，使用户输入的命令可同时在所有的节点上运行。用户可以用环境切换器来定制环境变量。OSCAR向导提供了一个图形化界面来帮助用户完成集群系统的安装和配置。 　　本研究课题以5台PCs结点，100Mbit/s以太网