【并行程序设计导论】第1章：为什么要并行计算

1.1 为什么需要不断提升性能

不断提升的计算能力已经成为许多飞速发展领域（如科学、互联网、娱乐等）的核心力量 不满足现状，随着计算能力的提升，我们要考虑的问题也在增加。如气候模拟、蛋白质折叠、药物发现、能源研究、数据分析等。

1.2为什么需要构建并行系统

因为对于单处理器而言，其性能的提升实际是提高了处理器上晶体管的密度，但受限于散热问题等，密度无法一直提升。如果考虑并行化，即生产多个相对简单的完整处理器放在一个芯片上，即多核处理器，就能解决密度问题。

1.3 为什么需要编写并行程序

大多数传统单核系统编写的程序无法利用多核处理器，并行程序能充分发挥多核处理器的优势，然而将串行程序改写成并行程序并不顺利。

1.4 怎样编写并行程序

基本思想：将要完成的任务分配给各个核。

两种方法：任务并行和数据并行。

任务并行是指将待解决问题所需要执行 的各个任务分配到各个核上执行 数据并行是指将待解决问题所需要处理的数据分配给各个核， 每个核在分配到的数据集上执行大致相似的操作 编写并行程序需要协调的问题： 通信：一个或多个核将自己的部分和结果发送给其他的核。 负载平衡：给每个核分配大致相同数目的数据 同步

1.5 我们将做什么

学会利用C语言和C语言的三个不同扩展：

消息传递接口 (Message-Passing Interface, MPI) POSIX 线程 (POSIX threads, Pthreads) OpenMP

两种主要并行系统：

共享内存系统 核心可以共享对计算机内存的访问； 原则上，每个核都可以读写每个内存位置。（Pthreads, OpenMP） 分布式内存系统 每个核都有自己的私有内存 核必须通过通过网络发送消息之类的方式显式通信。（MPI）

1.6 并发、并行、分布式

并发：一个程序的多个任务在同一个时段内可以同时执行 并行：一个程序通过多个任务紧密协作来解决某个问题 分布式：一个程序需要与其他程序协作来解决某个问题

注：仅用于自己复习，不作他用。