Matlab高性能计算方案.docx

Matlab高性能计算服务平台建设方案北京天云融创科技有限公司2012年7月目录1项目概述22需求分析23建设目标24总体方案34.1逻辑架构44.1.1相关产品44.1.2部署说明54.1.3设备配置64.1.4并行计算支持84.2实施内容94.3实施人员94.4实施计划105系统培训115.1现场实施培训和用户使用培训116经费概算11项目概述伴随信息技术与网络技术的高速发展和广泛应用，信息化已经成为现代社会发展的强大动力，数值仿真技术在设计和制造行业也得到广泛应用，诸如结构与过程优化设计、强度与寿命评估、运动及动力学仿真，以验证未来工程/产品的可用性与可靠性。数值仿真技术，在提高工程/产品的设计质量，降低研究开发成本，缩短开发周期方面都发挥了重要作用，成为实现工程/产品创新的支撑技术。随着设计精度和计算的要求越来越高，系统结构越来越复杂，需要评估的角度也越来越多，不仅需要使用更多的Matlab计算，而且也需要通过多核、多处理器和并行计算等高性能计算技术提高Matlab计算效率、减少计算时间。同时，也需要屏蔽系统复杂性，让设计人员能简单方便使用。需求分析通过交流了解到需要更高配置和更大规模的计算资源提高计算能力，需要Matlab并行计算能力提高计算效率，需要共享计算资源提高机器的利用率，需要集中管理计算资源和数据。这样就需要提供一个平台将计算资源统一的进行管理，同时提供高性能计算平台将Matlab进行集成，完成分布式计算，提供Matlab的计算效率，同时构建一个统一的、高效的集群系统解决方案。建设目标建设开放式和初步规模的高性能计算服务平台，使用更高配置的硬件设备和更先进的软件平台，将Matlab运行环境进行统一规划和实施，为研究人员提供统一、高效、安全、可靠的高性能计算环境和使用平台，实现软硬件最大程度的共享，从而提高IT投资回报，提高生产效率。总体方案搭建一个集群系统，用作业调度软件将集群进行集中的管理，同时将Matlab和作业调度系统进行集成，通过作业调度系统来调度Matlab，实现分布式计算，从而提供Matlab的计算效率。解决方案立足点如下：集中管理：支持多种异构硬件平台、操作系统和应用程序，提供单一系统镜像，可以实现计算节点的集中管理和统一调度。负载均衡：提供强有力的负载均衡能力，保证计算服务器的任务分配尽可能均匀，避免出现机器忙闲不均的现象。并且可以根据服务器的负载指标（如：CPU利用率、可用内存数、IO等），采取保护性措施，避免因为任务过多导致系统忙而无效甚至死机。无需用户干预自动分配计算资源。资源的有效利用：避免计算任务之间出现冲突而导致任务失败或计算时间延长；计算任务通过资源可用情况（许可证和CPU利用率）排队，保证许可证资源7x24使用。资源的合理分配：包括许可证和硬件资源，如果没有合理分配机制，开放式高性能计算服务平台建成后将不可避免出现各部门间和人员对资源使用的无序竞争，资源使用效率和合理性将无法保证。优先级管理：保证当资源不足（包括许可证和服务器）时，紧急的项目或任务可以获得更高的优先级，从而更快速地启动，避免影响设计和工程的进度。避免无效占用：设置应用使用限制和生命周期，防止应用无效占用资源。并行能力：采用公认的计算方法，支持多种MPI和网络协议，支持大型软件的分布并行计算能力。跨平台性、稳定性要求：系统跨平台性强，支持各种UNIX/Linux平台，能够最佳地跨越各种平台管理并行作业处理，这些平台包括HP-UX, IBM AIX, SGI IRIX, Solaris,Windows,linux。系统提供的功能全，稳定性高，使用方便，容错能力强。用户友好：简化用户的使用，并尽量尊重用户的使用习惯。同时，系统也对系统管理员提供便利工具，方便系统管理。先进性：充分考虑其先进性，使整个系统不仅满足用户目前业务的需要，还能适应未来技术发展的趋势和需要。扩展性：不仅能提供单节点较高的运算能力及整体效率，还考虑到将来可根据业务需求和技术发展特点方便地增加节点。开放性：系统方案采用开放标准，开放结构，开放系统组件和开放用户接口。逻辑架构针对需求，首先，提供一套基于Web的用户端接口，方便用户使用高性能计算相关的软硬件资源。再次，将Matlab集成的作业调度系统中，通过作业调度系统对Matlab的计算作业进行管理（例如提交、运行、暂停、关闭），同时对作业的数据进行集中管理，并提供上传和下载功能。相关产品本方案的实现将基于如下所列的产品与服务：作业调度系统针对高性能计算领域推出的集群管理系统，支持异构的、分布式Uinx/Linux，Windows计算环境，提供可靠的集群管理、负载共享、复杂的作业管理及调度功能和大规模并行计算的能力，可以有效提高大型计算任务的资源利用率。Web PortalWeb Portal 提