集群并行文件系统的介绍.ppt

* ASIPP 集群系统介绍 报告人: 朱应飞 导 师: 罗家融 研究员 2007年12月21日 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 报告主要内容 文件系统介绍 集群文件系统 常用集群文件系统 Lustre介绍 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 集群的软件体系机构： 操作系统： 任何计算机系统的软件基础 并行开发库： 用于集群中进程通信的软件库 作业管理： 调度作业并管理集群系统的资源 系统管理： 管理和监控整个集群系统 开发环境： 开发和调试高效能应用的开发工具 标准应用： 一些标准的高性能应用如CFD 客户应用： 客户特别定制的应用 一 、集群软件体系机构 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 操作系统：并不是每种操作系统都适合集群系统 单任务操作系统：CPU同时只处理任务队列中的一个任务 多任务操作系统：基于分时技术的多任务操作系统 多CPU多任务操作系统：在某个时间点上，多个进程同时运行 a) 多CPU多任务操作系统+线程 b) 多CPU多任务操作系统+消息传递 我们的集群使用多CPU多任务操作系统+消息传递平台。它由SMP和PC服务器组成，以Linux为操作系统，以MPI或PVM这种消息传递方式作为通信方法 二、集群操作系统 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 文件系统是操作系统的重要组成部分，用于存储程序和数据 如何在各节点间高效、一致和简捷的实现数据共享是集群系统对文件系统提出的挑战 3.1、分布式文件系统： 相当于本地文件系统，有如下特点： 网络透明：对远程和本地的文件访问可以通过相同的系统调用完成 位置透明：文件的全路径无需和文件存储的服务绑定，服务器的名称或地址并 不是文件路径的一部分 位置独立：正是由于服务器的名称或地址并不是文件路径的一部分，所以文件 存储的位置的改变并不会导致文件的路径改变 分布式文件系统可以使集群的节点间简捷地实现共享。但是为了提供性能，分布式文件系统通常需要使用本地的缓存, 它很难保证数据在集群系统范围的一致性。而且往往分布式文件系统中只有一份数据，所以很容易发生单点失效。 三、集群文件系统 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 3.2、并行文件系统 建立在共享磁盘上的并行文件系统可以克服分布式文件系统的这些缺点 通过使用在节点共享的存储设备，并行文件系统具有很多优点： 高可用性：克服了分布式文件系统中那种服务器端的单点失效的缺点，提高了 文件系统的可用性 负载均衡：有多个访问点，彼此可以协调负载 可扩展性：容易扩展容量和访问的带宽 三、集群文件系统 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyright 2004-2011 Aspose Pty Ltd. ASIPP 3.3、集群中的数据共享形式 集群中使用的数据共享的方法常见的有： rsync是建立在本地文件系统之上 NFS和Inteemezzo属于分布式文件系统(确切的说，NFS只是网络文件系统) GFS属于并行文件系统 Backend-database则属于不同于文件共享的另一种形式的共享。 三、集群文件系统 Evaluation only. Created with Aspose.Slides for .NET 3.5 Client Profile . Copyri