Cache是什么

　　基本概念

　　在計算機存儲系統的層次結構中，介于中央處理器和主存儲器之間的高速小容量存儲器。它和主存儲器一起構成一級的存儲器。高速緩沖存儲器和主存儲器之間信息的調度和傳送是由硬件自動進行的。

　　某些機器甚至有二級三級緩存，每級緩存比前一級緩存速度慢且容量大。

　　組成結構

　　高速緩沖存儲器是存在于主存與CPU之間的一級存儲器， 由靜態存儲芯片（SRAM）組成，容量比較小但速度比主存高得多， 接近于CPU的速度。

　　主要由三大部分組成：

　　Cache存儲體：存放由主存調入的指令與數據塊。

　　地址轉換部件：建立目錄表以實現主存地址到緩存地址的轉換。

　　替換部件：在緩存已滿時按一定策略進行數據塊替換，并修改地址轉換部件。

近年來，GPU廣泛應用與高性能領域，其通用計算能力也得到了進一步的利用。與傳統的CPU相比，GPU在處理能力和儲存器帶寬上有著明顯的優勢，在成本和功耗上也不需要付出太大的代價。

在當前主流的CPU+GPU架構中，CPU和GPU一般經過北橋芯片相互連接，各自有各自的外部儲存器，分別為內存和顯存。在這種混合架構中CPU負責邏輯性較強的事物運算，而GPU主要負責計算密集度較高的部分。其設計目的的不同導致了設計時的架構的不同。而這些架構的不同也最終影響了他們的性能。

CPU為何需要大量cache？

對于單個的CPU核心通常在一個時刻只能運行一個線程的指令，其多線程機制也是在軟件層次上的并行。當一個線程中斷，或等待某些資源的時候，操作系統需要進行一個上下文轉換，這通常會帶來巨大的開銷。因此需要大量的cache來過濾過多內存的訪問，減少訪存的延遲，提升CPU的響應速度。而為了緩存的一致性，還需要復雜的替換機制，需要復雜的邏輯控制單元。

另一方面，為了提升單核指令級的并行，現代的CPU中使用了超標量、超流水、超長指令字。這些方式的運行也需要借助復雜的分支預測機制和大量的cache。

GPU為何不需要大量cache？

在GPU中沒有復雜的緩存體系和替換機制，其cache都是只讀的，因此不用考慮cache一致性問題。GPU緩存的主要作用是過濾對存儲器控制器的請求，減少對顯存的訪問，從而解決顯存帶寬。

GPU不需要大量的cache，另一個重要的原因是GPU處理大量的并行任務。其大量的block和同一個block的大量thread保證了GPU可以實現零開銷的線程切換。當一個線程因等待資源而中斷的時候就轉到另一個已經就緒線程去執行，在這里線程切換反而成了一件好事。能通過計算來隱藏延遲。