在過去的幾十年間，人們對并行計算產生了越來越多的興趣。并行計算的主要目標是提高運算速度。

　　從純粹的計算視角來看，并行計算可以被定義為計算的一種形式，在這種形式下，計算機可以同時進行許多運算，計算原則是一個大的問題往往可以被劃分為很多可以同時解決的小問題。

　　從程序員的角度來說，一個很自然的疑問，就是如何將并發計算映射到計算機上。假設你有許多計算資源，并行計算可以被定義為同時使用許多計算資源（核心或計算機）來執行并發計算，一個大的問題可以被分解成多個小問題，然后在不同的計算資源上并行處理這些小問題。并行計算的軟件和硬件層面是緊密聯系的。事實上，并行計算通常涉及兩個不同的計算技術領域。

　　計算機架構（硬件方面）

　　并行程序設計（軟件方面）

　　計算機架構關注的是在結構級別上支持并行性，而并行編程設計關注的是充分使用計算機架構的計算能力來并發地解決問題。為了在軟件中實現并行執行，硬件必須提供一個支持并行執行多進程或多線程的平臺。大多數現代處理器都應用了哈佛體系結構（Harvard architecture），如圖1-1所示，它主要由3個部分組成。

　　內存（指令內存和數據內存）

　　中央處理單元（控制單元和算術邏輯單元）

　　輸入/輸出接口

　　高性能計算的關鍵部分是中央處理單元（CPU），通常被稱為計算機的核心。在早期的計算機中，一個芯片上只有一個 CPU，這種結構被稱為單核處理器。現在，芯片設計的趨勢是將多個核心集成到一個單一的處理器上，以在體系結構級別支持并行性，這種形式通常被稱為多核處理器。因此，并行程序設計可以看作是將一個問題的計算分配給可用的核心以實現并行的過程。當實現一段串行算法時，你可能不需要為了編寫一個程序而特意去理解計算機架構的細節。但是，當在多核計算機上執行算法時，對于程序員來說，了解基本的計算機架構的特點就顯得非常重要了。要編寫一個既正確又高效的并行程序需要對多核體系結構有一個基本的認識。以下介紹了并行計算的一些基本概念，以及這些概念與CUDA編程設計的聯系。