前　　言

对于正在编程的程序员，编程模型可被看作一台虚拟机，并可通过编程语言和函数库实现。如果某个编程模型成为计算机科学研究中的热点，需要具有以下特性：高效性（易于描述各种抽象算法）、移植性（兼容各种硬件计算平台）、高性能（高效均衡地利用硬件平台的计算能力）、通用性（广泛地描述各种算法）。针对特定的编程模型，同时具有上述四种特性中的一种或两种相对容易，但同时具备这四种特性几乎是不可能的。特定的编程模型无法同时具备四种特性的主要原因在于编程模型的多样性，因此需要根据具体的科学应用，选择不同的编程模型特性。
随着并行计算技术的发展，计算机科学领域的专家将研究重点转移到能够适应高性能并行计算和超级计算系统的编程模型设计方向。并行编程模型包含执行模型（选择代码执行路径）和内存模型（管理计算节点间和节点内的数据流）。多核计算需要并发计算和移动数据，这增加了程序运行结果和性能的不确定性，导致并行编程模型变得更加复杂。
从技术上分析，编程模型和编程系统间存在一定区别。编程模型是一种编程方式，例如采用大量同步或者隐含编译器协助的并行化方式，而编程系统指程序员编写程序时实际使用的系统抽象接口。随着时间推移，编程模型和编程系统间的区别逐渐变得模糊。目前，编程模型既是一种编程方式，也是模型实例化过程中所使用的系统抽象接口。
与通用的编程模型设计不同，在大多数并行系统中，程序开发人员往往不采用单一的并行编程模型。不同的开发人员会选择不同层次的虚拟化方式，并在高效性、移植性、高性能和通用性四种编程模型特性中选择不同的组合。针对面向终端的程序开发应用，具体研究领域的科学家通常倾向于选择更高效和高级别的编程模型，即使该编程模型只能针对特定的算法而缺乏通用性。针对编程语言和函数库，程序开发者一般更倾向于选择高性能和低级别的编程模型，即使该编程模型具有较高的使用难度。然而，针对面向终端的程序应用以及编程语言和函数库开发，上述编程模型选择并非是绝对的，可根据实际的开发应用情况进行调整。
关于本书
本书对当今高性能计算以及超级计算系统上的几种最主要的并行编程模型进行了概述。书中包含多种并行编程模型，它们拥有不同的生产效率、可移植性、性能以及表达范围。因此，读者可以学习和理解每种编程模型提供了哪些折中。
第1章讨论了消息传递接口（MPI）。MPI是当今面向分布式内存计算的最重要的并行编程模型。该章对MPI最常用的功能进行了概述，并涉及MPI标准的第三个主要版本 ——MPI-3。
第2～5章从低层次的运行时库到高层次的编程模型，对单边通信模型进行了讨论。第2章介绍了全局地址空间网络（GASNet），它是一种低层次的编程模型，用于多种分区全局地址空间（PGAS）模型的一种通用可移植运行时系统。第3章讨论了OpenSHMEM单边通信库，它用于向用户直接呈现本地硬件通信功能。OpenSHMEM通过扩展库的形式模拟了许多PGAS模型的功能，这样做的好处是不依赖于语言扩展及相应的编译器支持。第4章提供了Unified Parallel C（UPC）编程模型的概述。UPC是基于C语言的PGAS模型，它为全局地址空间内存的创建与管理提供了相应的语言扩展及库接口。第5章介绍了全局数组（GA），与OpenSHMEM类似，GA是另一种基于库的单边通信模型。但GA基于多维数组提供了更高层次的抽象，以方便用户编程。
第6章讨论了Chapel。它是一种高生产率编程模型，支持以任务并行及数据并行两种方式对应用进行描述。Chapel同时也具有一级语言概念，可对局部性进行描述与推理，这与它支持的并行特性是互不相关的。
第7～11章展示了面向任务的编程模型，它们允许用户以任务的方式描述计算及数据单元，并允许运行时系统来管理计算以及必要的数据移动。第7章对Charm++编程模型进行了讨论。Charm++提供了一种依赖于工作过分解的抽象模型，以在可用的计算单元间动态地管理任务。第8章深入讨论了异步动态负载均衡（ADLB）库，它提供了另一种面向任务的工作共享方法，并以MPI作为低层次的通信模型。第9章讨论了可扩展任务对象集合（Scioto）编程模型，它依赖于类似PGAS的单边通信框架来实现基于工作窃取的负载均衡。第10章描述了Swift，它是一种高层次的脚本语言，允许用户使用高层次语义对计算进行描述，并在内部将其翻译成其他面向任务的编程模型，如ADLB。第11章描述了并行集（CnC），它是一种高层次的声明式模型，允许用户将应用描述为由相互通信的内核构成的图。
第12～16章展示了面向节点内并行的编程模型，涉及的硬件环境包括多核架构、加速器以及两者同时存在的情况。第12章讨论了OpenMP。OpenMP是当今科学计算领域最重要的节点内并行编程模型。该章介绍了OpenMP的进化历程以及核心特性，并涉及OpenMP 4.0。第13章讨论了Cilk Plus编程模型，它是一种对C及C++语言的并行扩展，用于在现代共享内存多核机器上开发规则以及非规则并行。第14章讨论了Intel TBB（Threading Building Block），它是一个基于C++模板类实现的库。与Cilk Plus类似，TBB支持共享内存多核架构上的并行执行。第15章讨论了NVIDIA提供的CUDA（Compute Unified Device Architecture）编程模型。CUDA通过单指令多线程块运行方式来支持NVIDIA图形处理单元上的并行计算。尽管CUDA是NVIDIA设备上的专有编程模型，但CUDA在并行编程社区中具有广泛影响力，并在应用中得到广泛使用，因此第15章对CUDA进行了讨论。第16章描述了OpenCL（Open Computing Language）模型，它提供了一个低层次的、平台无关的编程模型，可以在不同异构架构上进行编程，其中包括图形处理单元。
本书对不同编程模型的讲解方式在其他书籍中是很少见的。尤其是通过使用说明的方式来展示材料，而不是以更正式的类似于研究论文的方式展示。本书不是一个致力于详细描述每个编程模型语法及语义的参考手册。本书的目标是描述使用这些模型进行并行编程的通用方法，以及每种方法所实现的目标。不过，本书提供了一些模型所提供的核心接口的语法及语义定义，我们将这些定义作为编程模型所提供抽象的例子。提供这些定义的目的是提高内容的可读性。这些定义并不一定是最重要的或最常用的接口，而只是作为例子说明如何使用该编程模型。

目录

1.1　引言
1.2　MPI基础
1.3　点对点通信
1.4　数据类型
1.5　非阻塞式通信
1.6　聚合通信
1.7　单边通信
1.8　并行I/O
1.9　其他特性
1.10　MPI开发心得
1.11　总结
2.1　研究背景与动机
2.2　GASNet概述
2.2.1　相关术语
2.2.2　线程
2.2.3　API组织
2.3　核心API
2.3.1　开始和结束
2.3.2　段信息
2.3.3　屏障
2.3.4　锁与中断
2.3.5　活动消息
2.3.6　活动消息进程
2.3.7　活动消息规则与约束
2.3.8　出错代码
2.4.1　GASNet段
2.4.2　排序与内存模型
2.4.3　阻塞与非阻塞
2.4.4　批量与单个
2.4.5　寄存器–内存与远程memset操作
2.4.6　扩展API总结
2.5　附加内容
2.5.1　GASNet工具
2.5.2　可移植平台头文件
2.6.1　编译和运行示例
2.6.2　Hello World示例
2.6.3　AM Ping-Pong示例
2.6.4　AM Ring示例
2.6.5　MCS Locks示例
2.7　未来方向
3.1　引言
3.2　设计理念和根据
3.3　OpenSHMEM存储模型
3.4.1　初始化和查询
3.4.2　分配和释放
3.4.3　关于分配和对称堆的说明
3.5　远程内存访问：put和get
3.5.1　RMA函数语义
3.5.2　RMA函数使用
3.6　排序和同步
3.6.1　全局同步屏障
3.6.2　fence和quiet：RMA操作排序
3.6.3　锁
3.6.4　wait和wait_until
3.7　集合操作
3.7.1　选择集合参与者
3.7.2　同步数组和工作数组
3.7.3　非全局同步屏障
3.7.4　广播
3.7.5　收集
3.7.6　归约
3.8　原子内存操作
3.8.1　原子加和递增
3.8.2　原子取–加和取–递增
3.8.3　原子交换和条件交换
3.9　未来方向