采用人工智能 （AI） 應用程序的曲棍球棒正在順利進行，包括 CPU、GPU、FPGA 和神經網絡處理器在內的定制架構正在云中占據一席之地。人工智能大規模并行架構的弱點之一是對電源故障時數據丟失的敏感性，導致這些數據中心的成本很高。內存類存儲架構為 AI 應用程序提供高性能、持久的內存，使數據中心的正常運行時間、更低的功耗和更高的利潤達到新的水平。

人工智能 （AI） 和深度學習算法的迅速普及正在改變現代數據中心的格局。隨著云成為信息的通用資源，包括語音識別、增強現實、醫學數據挖掘和成千上萬的其他應用程序正在捕獲越來越多的數據周期。我在這里使用的簡單術語 AI 意味著許多類型的應用程序的集合，其中一些具有截然不同的技術要求。

云也是大多數企業的主要收入來源，正常運行時間已成為一項主要要求。系統停機造成的損失平均為每分鐘 22，000 美元，每年平均 14.1 小時的停機時間使平均每年損失 1800 萬美元。完全依賴互聯網的公司很容易看到間接費用的倍數。

顯然，如果解決方案能夠最大限度地減少停機時間并加快從電源故障中恢復的速度，那么投資回報就會很快。將內存類存儲（以下定義的術語）引入數據中心，尤其是 AI 處理器子系統是提高數據中心價值的關鍵性能增強。

常見的人工智能應用

人工智能并不新鮮，盡管大規模部署人工智能是最近的趨勢。人工智能處理中心沒有單一的架構，但是在人工智能的部署中出現了一些共同的趨勢。一般來說，人工智能使用大量相對簡單的處理單元在非常廣泛的數據集上并行運行，每個處理單元都在數據的一個子集上運行。

為了幫助可視化這是如何工作的，想象一個 JPEG 圖片處理算法，它有一個小型處理單元，為 8x8 像素陣列運行離散余弦變換算法 （DCT）。由于典型的原始圖片遠大于 8x8 像素，因此 AI 引擎可以包括許多并行運行的處理單元，每個處理單元運行相同的 DCT 算法，然后有一個主控制器將整體圖片的 8x8 部分提供給處理單元。主控制器將來自每個處理單元的結果反饋到結果的輸出緩存中，例如編碼的 JPEG 文件的數據。

這些并行處理元素還可以選擇在它們之間共享數據，例如管理相鄰輸入數據塊之間的邊緣。該解決方案的一種方法是遞歸神經網絡 （RNN），如圖 1 所示。

［圖1 | 遞歸神經網絡處理］

將 AI 的使用與功耗成本聯系起來，上面的簡單 RNN 應用程序顯示了當黃色輸入數據和橙色輸出數據存儲在動態內存中時的固有開銷。在數據丟失時，必須重新加載輸入數據并重新運行 RNN 算法以恢復輸出數據。

深度學習是 AI 的另一種變體，它對數據吞吐量表現出更高的敏感性。深度學習算法將種子模式加載到 AI 內存中，該模式表示對預期可能答案的預先計算估計。深度學習的示例包括語音識別，其中種子數據可能代表通用語音模式。但是，一旦輸入數據開始流過處理單元，深度學習就可以修改種子模式。對于語音識別，這可能包括針對特定用戶的口音調整識別引擎。深度卷積網絡是一種添加識別、上下文和修改種子以提高算法質量和準確性的機制。

【圖2 | 深度卷積網絡處理］

深度學習算法面臨的一個挑戰是避免重新訓練。想象一下每次將語音識別設備移到不同房間時都必須重新訓練語音識別設備的客戶的反應。對于深度學習，修改后的種子模型需要定期檢查點，以便在斷電后可以恢復學習到的數據。在圖 2 中，綠色圓圈代表這些模型，如果這些數據丟失，則必須重新學習對模型的任何更新。粉紅色雙圓圈中的池化層還包含加速處理的信息，必須保存或重建。

常見的 AI 架構

如前所述，業界在人工智能架構的硬件實現方面存在趨勢。這些趨勢是：1） 將大量數據饋送到廣泛的處理元件陣列中，2） 每個處理器在相對簡單的算法上運行，以 3） 產生輸出數據，該輸出數據被重新組合成所需的結果。4）對于深度學習，這些中間結果可以修改需要定期提取的初始輸入數據集。

【圖3 | 示例 AI 處理器］

圖 3 顯示了一個相當典型的 AI 設備，其中 15 個處理元件的陣列通過內部存儲器交叉開關連接到使用高帶寬存儲器的大型數據資源（例如，32 GB）。HBM 提供一個 1024 位寬的接口，每個數據引腳以 2.4 Gbps 的速度運行，并且通過四個內部 HBM 總線，可以以大約 1.2 TB/s 的組合吞吐量為處理元件提供數據。

此外，每個 AI 設備都提供多個高速串行 I/O 接口（例如 1 Tbps），以將架構擴展到大量處理器。這些串行總線以某種特定于應用程序的模式互連，通常是超立方體或環形排列，因此數據可以通過陣列分布，以供許多 AI 設備并行處理。圖 4 是通過陣列路由數據的環形連接方案示例。

【圖4 | 多個AI設備的環形連接］

在 1 Tbps 時，這些串行鏈路相當快，但鏈路的數量仍然有限，并且數據必須通過陣列進行幾跳才能到達目的地。即使在相當高的總線效率下，填充每個 AI 設備的 HBM 內容也可能需要幾秒鐘的時間。一種解決方案是增加來自支持硬件的串行輸入饋送數量，但在 26 GB/s 的完整 DDR4 接口下，需要四個 DDR4 通道來饋送一個輸入管道，因此外部支持硬件很快成為瓶頸。

檢查點在深度學習應用程序中修改模型的內容也發生在這些串行總線上。每個 AI 設備都需要將其內容傳達給支持硬件，以承諾使用非易失性資源，通常是 NVMe 或 SSD 單元。這種檢查點會消耗通信鏈路上寶貴的帶寬，這些時間可以更好地用于數據處理。

停電的代價

串行鏈路造成的瓶頸突出了電源故障所面臨的問題。一旦模型丟失，重新填充大量 AI 設備可能需要很長時間。將應用程序重新加載到執行單元中也需要時間，然后重新啟動算法并恢復正在進行的丟失工作也可能需要大量時間。同時，系統無法進行終端用戶數據處理。

對于深度學習環境，數據丟失可能是不可接受的，因此必須建立復雜的機制來定期檢查種子數據模型的學習修改。

根據系統架構，重新加載的速度將受到非易失性存儲接口的限制。即使使用 10 GB/s NVMe 備份，大型 AI 陣列的恢復也可能需要幾分鐘時間。如果這個瓶頸定義了保存的深度學習模型的粒度，則可以確保永久丟失數據的可能性。為了避免這種數據丟失，通常會部署不間斷的備份系統，但是這些架構的電源要求往往相當高，而且 UPS 相對昂貴。

AI中的內存類存儲

Nantero NRAM 是一種非易失性存儲器技術，可在全 DRAM 速度下運行并具有無限的寫入耐久性，因此稱為 Memory Class Storage。NRAM 使用靜電力來切換碳納米管陣列以存儲 1 和 0。NRAM 與 HBM 接口相結合，為 AI 架構的電源故障敏感性問題提供了很好的解決方案。

NRAM HBM 完全像 DRAM HBM 一樣放入 AI 設備。它使用相同的信號和時序，使集成異常簡單。與存儲類內存相比，存儲類內存比 DRAM 慢得多，耐用性非常有限，因此仍需要支持 DRAM 才能實現所需的性能，NRAM 完全取代了 AI 設備中的所有 DRAM，無需額外支持。由于 NRAM 本質上是非易失性的，因此 AI 控制器還可以利用其獨特的功能，例如關閉刷新并在相同的時鐘頻率下獲得額外 15% 的性能。

【圖5 | HBM NRAM 架構］

停電時，系統會向所有 AI 設備發送一個信號，警告即將停電。每個 AI 設備的響應方式是完成進程中的計算并將結果存儲到非易失性 NRAM 中，然后關閉。當電源恢復時，執行單元代碼從 NRAM 恢復到每個執行單元所附的本地內存（如 SRAM），恢復臨時結果，并在微秒而不是分鐘內恢復執行。

由于數據永遠不會丟失，并且不需要外部串行鏈路，也不需要 NVMe 或 SSD 等外部備份機制，因此將 NRAM HBM 并入 AI 架構無需昂貴的電池備份系統。

結論

總之，使用 NRAM HBM 重新構想了人工智能和深度學習應用的計算基礎設施。通過始終提供固有的數據持久性，AI 服務器無需承受與重新加載模型和其他數據相關的長時間延遲。修改后的模型數據的檢查點是自動的，并且不會消耗處理元件和支持計算系統之間的互連上的帶寬。

將 NRAM HBM 整合到 AI 架構中，消除了電池備份系統的成本、復雜性和可靠性問題，并降低了數據中心的功耗，同時提高了性能。備份和恢復過程主要變成 NOP……只需重新啟動即可！

審核編輯：郭婷