MPI+Openmp题稿.pptx

并行程序设计 ---MPI Openmp 2015-12-15 报告人：方宝辉 Contents(目录) 1.什么是MPI,openmp 2.适合什么体系结构 3. 怎样并行编程 4. 结论 MPI与Openmp对比 OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差； MPI：进程级；分布式存储；显式；可扩展性好。 OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。 MPI虽适合于各种机器，但它的编程模型复杂： 需要分析及划分应用程序问题，并将问题映射到分布式进程集合； 需要解决通信延迟大和负载不平衡两个主要问题； 调试MPI程序麻烦； MPI程序可靠性差，一个进程出问题，整个程序将错误； 其中第2个问题感受深刻。每次听我们部门并行组的人做报告，总是听到他们在攻克 通信延迟大和负载不平衡的问题。一种并行算法的好坏就看它有没有很好的解决这两 个问题。附： SMP(Symmetric multi-processing)，共享总线与内存，单一操作系统映象。在软件 上是可扩展的，而硬件上不能。 DSM（distributed?shared memory），SMP的扩展。物理上分布存储；单一内存地 址空间；非一致内存访问；单一操作系统映象。 SMP(对称多处理机) SMP（Symmetric Multi-Processing），对称多处理结构的简称，是指在一 个计算机上汇集了一组处理器(多CPU),各CPU之间共享内存子系统以及总线结构。 在这种技术的支持下，一个服务器系统可以同时运行多个处理器，并共享内存和其 他的主机资源。 P/C P/C SM SM 互连系统 。。。 P/C:微处理器和高速缓存 SM:共享存储器 SM DSM分布共享内存 DSM（distributed?shared memory），SMP的扩展。物理上分布存储；单一内存地 址空间；非一致内存访问；单一操作系统映象。 分布式共享内存，它使得不同机器上的进程不用通过共享物理内存就可以使用共享数 据，DSM是一个共享内存的程序模型，它在某些方面优于消息的模型。 定制网络 P/C LM DIR NIC P/C LM DIR NIC MB MB 。。。。 P/C微处理器和高速缓存 LM本地磁盘 DIR高速缓存目录 NIC网络接口电路 DSM分布共享内存 DSM和SMP主要差别在于，在DSM中存储器是物理地分布在不同结点中的。但系统 硬件和软件为用户建立了一个单地址空间的幻觉。 P/C P/C SM SM 互连系统 。。。 定制网络 P/C LM DIR NIC P/C LM DIR NIC MB MB 。。。 集群系统（cluster） 机群（cluster）系统是互相连接的多个独立计算机的集合，这些计算机可以是 单机或多处理器系统（PC、工作站或SMP），每个结点都有自己的存储器、I/O设 备和操作系统。机群对用户和应用来说是一个单一的系统，它可以提供低价高效的高 性能环境和快速可靠的服务。 编程环境和应用 可用性和单一的系统映像基础设施 OS 结点 OS 结点 OS 结点 。。。。。 商品化或专用互联网 什么是MPI? Massage Passing Interface:是消息传递函数库的标准规范，由MPI论坛开发，支持Fortran和C 一种新的库描述，不是一种语言。共有上百个函数调用接口，在Fortran和C语言中可以直接对这些函数进行调用 MPI是一种标准或规范的代表，而不是特指某一个对它的具体实现 MPI是一种消息传递编程模型，并成为这种编程模型的代表和事实上的标准 最基本的MPI MPI调用借口的总数虽然庞大，但根据实际编写MPI的经验，常用的MPI调用的个数确什么有限。下面是6个最基本的MPI函数。 MPI_Init(…); MPI_Comm_size(…); MPI_Comm_rank(…); MPI_Send(…); MPI_Recv(…); MPI_Finalize(); MPI初始化-MPI_INIT int MPI_Init(int *argc, char **argv) MPI_INIT(IERROR) MPI_INIT是MPI程序的第一个调用，它完成MPI程序的所有初始化工作。所有的MPI程序的第一条可执行语句都是这条语句。 启动MPI环境,标志并行代码的开始. 并行代码之前,第一个mpi函数(除MPI_Initialize()外). 要求main必须带参数运行,否则出错. MPI结束-MPI_FINALIZE int MPI_Finalize(void) MPI_FINALIZE(IERROR) MP