并行計算（Parallel Computing）是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統計算速度和處理能力的一種有效手段。它的基本思想是用多個處理器來協同求解同一問題，即將被求解的問題分解成若干個部分，各部分均由一個獨立的處理機來并行計算。并行計算系統既可以是專門設計的、含有多個處理器的超級計算機，也可以是以某種方式互連的若干臺的獨立計算機構成的集群。通過并行計算集群完成數據的處理，再將處理的結果返回給用戶。
并行計算或稱平行計算是相對于串行計算來說的。所謂并行計算可分為時間上的并行和空間上的并行。 時間上的并行就是指流水線技術，而空間上的并行則是指用多個處理器并發的執行計算。
并行計算科學中主要研究的是空間上的并行問題。從程序和算法設計人員的角度來看，并行計算又可分為數據并行和任務并行。空間上的并行導致了兩類并行機的產生，按照Flynn的說法分為：單指令流多數據流（SIMD）和多指令流多數據流（MIMD）。我們常用的串行機也叫做單指令流單數據流（SISD）。
MIMD類的機器又可分為以下常見的五類：并行向量處理機（PVP）、對稱多處理機（SMP）、大規模并行處理機（MPP）、工作站機群（COW）、分布式共享存儲處理機（DSM）。
目前常見的并行編程技術包括：MPI、OPENMP、OPENCL、OPENGL、CUDA。下面了解一下這些常見并行編程技術的基礎概念：
（1）MPI
MPI（Message Passing Interface）是一種廣泛采用的基于消息傳遞的并行編程技術。MPI消息傳遞接口是一種編程接口標準，而不是一種具體的編程語言。簡而言之，MPI標準定義了一組具有可移植性的編程接口。各個廠商或組織遵循這些標準實現自己的MPI軟件包，典型的實現包括開放源代碼的MPICH、LAM MPI以及不開放源代碼的Intel MPI。由于MPI提供了統一的編程接口，程序員只需要設計好并行算法，使用相應的MPI庫就可以實現基于消息傳遞的并行計算。MPI支持多種操作系統，包括大多數的類UNIX和Windows系統。
（2）OPENMP
OpenMP是由OpenMP Architecture Review Board牽頭提出的，并已被廣泛接受的，用于共享內存并行系統的多線程程序設計的一套指導性的編譯處理方案（Compiler Directive）。OpenMP支持的編程語言包括C語言、C++和Fortran；而支持OpenMp的編譯器包括Sun Compiler，GNU Compiler和Intel Compiler等。OpenMp提供了對并行算法的高層的抽象描述，程序員通過在源代碼中加入專用的#pragma來指明自己的意圖，由此編譯器可以自動將程序進行并行化，并在必要之處加入同步互斥以及通信。當選擇忽略這些#pragma，或者編譯器不支持OpenMP時，程序又可退化為通常的程序（一般為串行），代碼仍然可以正常運作，只是不能利用多線程來加速程序執行。
（3）OPENCL
OpenCL（Open Computing Language，開放運算語言）是第一個面向異構系統通用目的并行編程的開放式、免費標準，也是一個統一的編程環境，便于軟件開發人員為高性能計算服務器、桌面計算系統、手持設備編寫高效輕便的代碼，而且廣泛適用于多核心處理器（CPU）、圖形處理器（GPU）、Cell類型架構以及數字信號處理器（DSP）等其他并行處理器，在游戲、娛樂、科研、醫療等各種領域都有廣闊的發展前景。
OpenCL是一個為異構平臺編寫程序的框架，此異構平臺可由CPU，GPU或其他類型的處理器組成。OpenCL由一門用于編寫kernels （在OpenCL設備上運行的函數）的語言（基于C99）和一組用于定義并控制平臺的API組成。OpenCL提供了基于任務分割和數據分割的并行計算機制。OpenCL類似于另外兩個開放的工業標準OpenGL和OpenAL，這兩個標準分別用于三維圖形和計算機音頻方面。OpenCL擴展了GPU用于圖形生成之外的能力。OpenCL由非盈利性技術組織Khronos Group掌管。
（4）OPENGL
OpenGL（Open Graphics Library）是個定義了一個跨編程語言、跨平臺的編程接口規格的專業的圖形程序接口。它用于三維圖象（二維的亦可），是一個功能強大，調用方便的底層圖形庫。
（5）CUDA
CUDA(Compute Unified Device Architecture)是一種由顯卡廠商NVIDIA推出的通用并行計算架構，該架構使GPU能夠解決復雜的計算問題。 它包含了CUDA指令集架構（ISA）以及GPU內部的并行計算引擎。 開發人員現在可以使用C語言來為CUDA?架構編寫程序，C語言是應用最廣泛的一種高級編程語言。所編寫出的程序于是就可以在支持CUDA?的處理器上以超高性能運行。CUDA3.0已經開始支持C++和FORTRAN。
