HPC高性能计算架构设计.docx

HPC高性能计算架构设计HPC基础介绍 在过去15年的时间里，HPC一直是增长最快的IT市场之一，其增长速度有时超过了在线游戏、平板的年增长率。HPC高性能计算市场空间有多大？ 在2016年的全年，我们报告说，HPC服务器市场的全球工厂收入从2015年的107亿美元上升到创纪录的112亿美元，比2003年的57亿美元增长了近两倍(其他市场分析，请参看“/s?__biz=MzAxNzU3NjcxOA==mid=2650717317idx=1sn=6ccbe4c92f482e88ba7b2678a3eeb2e6chksm=83e97ae4b49ef3f2ad28e48fadbbf856a1e2272dbe87b5ebc5c8bcc0667898805dd67749a273scene=21[解读] Intersect360分析预测: 由AI和Cloud驱动，未来HPC市场达439亿”)，研究预测，HPC服务器市场将在2021年增长到148亿美元，而整个HPC生态系统的市场在那一年将会超过300亿美元的市场。什么是高性能计算，涉及哪些技术和知识呢？ 高性能计算(High performance computing)?指通常使用很多处理器(作为单个机器的一部分)或者某一集群中组织的几台计算机(作为单个计算资源操作)的计算系统和环境。高性能集群上运行的应用程序一般使用并行算法，把一个大的普通问题根据一定的规则分为许多小的子问题，在集群内的不同节点上进行计算，而这些小问题的处理结果，经过处理可合并为原问题的最终结果。由于这些小问题的计算一般是可以并行完成的，从而可以缩短问题的处理时间。 高性能集群在计算过程中，各节点是协同工作的，它们分别处理大问题的一部分，并在处理中根据需要进行数据交换，各节点的处理结果都是最终结果的一部分。高性能集群的处理能力与集群的规模成正比，是集群内各节点处理能力之和，但这种集群一般没有高可用性。高性能计算的分类方法很多。这里从并行任务间的关系角度来对高性能计算分类。一、高吞吐计算(High-throughput Computing) 有一类高性能计算，可以把它分成若干可以并行的子任务，而且各个子任务彼此间没有什么关联。因为这种类型应用的一个共同特征是在海量数据上搜索某些特定模式，所以把这类计算称为高吞吐计算。所谓的Internet计算都属于这一类。按照Flynn的分类，高吞吐计算属于SIMDSingle Instruction/Multiple Data，单指令流-多数据流)的范畴。二、分布计算(Distributed Computing) 另一类计算刚好和高吞吐计算相反，它们虽然可以给分成若干并行的子任务，但是子任务间联系很紧密，需要大量的数据交换。按照Flynn的分类，分布式的高性能计算属于MIMD（Multiple Instruction/Multiple Data，多指令流-多数据流）的范畴。 有许多类型的HPC?系统，其范围从标准计算机的大型集群，到高度专用的硬件。大多数基于集群的HPC系统使用高性能网络互连，基本的网络拓扑和组织可以使用一个简单的总线拓扑。HPC系统由计算、存储、网络、集群软件四部分组成。高性能计算HPC系统技术特点是什么？ HPC系统目前主流处理器是X86处理器，操作系统是linux?系统(包括Intel、AMD、NEC、Power、PowerPC、Sparc等)、构建方式采用刀片系统，互联网络使用IB和10GE。? 高性能计算HPC集群中计算节点一般?分3种: MPI节点、胖节点、GPU加速节点。双路节点称为瘦节点(MPI节点)，双路以上称为胖节点；胖节点配置大容量内存；集群中胖节点的数量要根据实际应用需求而定。? GPU英文全称Graphic Processing Unit，中文翻译为图形处理器。?在浮点运算、并行计算等部分计算方面，GPU可以提供数十倍乃至于上百倍于CPU的性能。目前GPU厂家只有三家NVIDIA?GPU、AMD GPU和Intel Xeon PHI。可选择的GPU种类比较少。NVIDIA?的GPU卡分图形卡和计算卡，图形卡有NVIDA K2000与K4000，计算卡K20X/K40M/K80?。Intel?的GPU是Intel Xeon Phi?系列，属于计算卡，主要产品有Phi 5110P?、Phi 3210P、Phi 7120P、Phi 31S1P。AMD?的GPU是图形和计算合一，主要产品有W5000、W9100、S7000、S9000、S10000。?高性能计算的性能指标怎样衡量？ CPU的性能计算公式: 单节点性能=处理器主频*核数*单节点CPU数量*单周期指令数。单周期指令数=8(E5-2600/E5-2600 v2/E7-4800 v2)或16(E