并行计算（3）：结构、算法、编程.pdf

并行计算 Parallel Computing 主讲人 徐云 Spring, 2021 并行计算——结构•算法•编程  第一篇 并行计算的基础  第一章 并行计算与并行计算机结构模型  第二章 并行计算机系统互连与基本通信操作  第三章 典型并行计算机系统介绍  第四章 并行计算性能评测 国家高性能计算中心（合肥） 2 第三章典型并行计算机系统介绍  3.1 共享存储多处理机系统  3.1.1 对称多处理机SMP结构特性  3.2 分布存储多计算机系统  3.2.1 大规模并行机MPP结构特性  3.3 分布共享存储多计算机系统  3.3.1 分布共享存储计算机系统特性  3.4 机群系统  3.4.1 大规模并行处理系统MPP机群SP2  3.4.2 工作站机群COW 国家高性能计算中心（合肥） 3 对称多处理机SMP （1）  SMP: 采用商用微处理器，通常有片上和片外Cache，基于总线连 接，集中式共享存储，UMA结构  例子：SGI Power Challenge, DEC Alpha Server,Dawning 1 P/C P/C … P/C 总线或交叉开关 SM SM I/O 国家高性能计算中心（合肥） 4 对称多处理机SMP （2）  优点  对称性: 任何处理器均可访问任何存储单元和I/O设备  单地址空间: 易编程性，动态负载平衡，无需显示数据分配  高速缓存及其一致性: 支持数据的局部性，数据一致性由硬件维持  低通信延迟: 可由简单的Load/Store指令完成  问题  欠可靠: BUS,OS,SM失效均会造成系统的崩溃  可观的通信延迟（相对于CPU ）: 竞争会加剧延迟  慢速增加的带宽: MB double/3 year, IOB更慢  不可扩放性（用总线连接）。为此，或改用交叉开关连接，或改用 CC-NUMA，或改用Cluster 国家高性能计算中心（合肥） 5 第三章典型并行计算机系统介绍  3.1 共享存储多处理机系统  3.1.1 对称多处理机SMP结构特性  3.2 分布存储多计算机系统  3.2.1 大规模并行机MPP结构特性  3.3 分布共享存储多计算机系统  3.3.1 分布共享存储计算机系统特性  3.4 机群系统  3.4.1 大规模并行处理系统MPP机群SP2  3.4.2 工作站机群COW 国家高性能计算中心（合肥） 6 大规模并行机MPP  成百上千个处理器组成的大规模计算机系统，规模是变化的。  NORMA结构，高总计带宽，相对低延迟，定制互连。  可扩放性：Processors, Memory, Bandwidth, I/O, 平衡设计  系统成本：商用处理器，相对稳定的结构，SMP节点，分布  通用性和可用性：不同的应用，PVM， MPI，交互，批处理，互 连对用户透明，单一系统映象  通信要求：高于标准的LAN