借助人工智能數據周期（AI Data Cycle）存儲框架，釋放數據的AI力量

西部數據公司副總裁兼中國區總經理 蔡耀祥

西部數據公司副總裁兼中國區總經理蔡耀祥

如今，AI無處不在。各個行業正通過對基礎設施進行大量投資，來支持創新的應用和用例。我們大都對于時下GPU、CPU和內存這類以計算為主的基礎設施有所耳聞，而數據存儲作為AI的“第三支柱”，也正對AI起到更為關鍵的作用。

對于文本的AI訓練相對簡單，但當轉向音頻、圖像以及視頻時，所生成的數據量將會呈現指數級增長，對存儲的需求自然而然會有很快的攀升。而且隨著時間的推移，數據的總量也在持續增長。IDC預計截至2028年，每年產生的數據總量將接近400 ZB（澤字節，Zettabyte）。

在數據生成量不斷增長的趨勢下，數據存儲技術對于人工智能數據周期（AI Data Cycle）中不同階段基礎設施和工作負載的容量、性能、能耗效益以及成本效益都至關重要。AI系統在處理和分析現有數據的同時也會產生新數據，其中很多數據會因其功能性或娛樂性被保存。新型AI用例和更先進的模型令現有數據資源庫和額外數據源對模型上下文和訓練的價值更甚。數據的不斷生成促成了更多的數據存儲，而更多的數據存儲又進一步推動數據生成，一個良性循環的人工智能數據周期就此誕生。

西部數據在今年6月正式發布了人工智能數據周期存儲框架，該框架闡明了在大型AI工作負載的六個階段中每一階段的存儲重點，幫助企業級數據中心規劃者厘清AI和數據存儲之間的動態關系。西部數據也正積極調整產品路線圖，以滿足在AI驅動下不斷升級的需求，更大限度地提升性能和容量并降低能耗和TCO（總體擁有成本，Total Cost of Ownership）。

人工智能數據周期的六大階段

西部數據通過人工智能數據周期，詳細解讀了AI管道六個階段中數據從收集、訓練到推理的存儲細節。

<人工智能數據周期>

讓我們簡單了解一下人工智能數據周期的各個階段。

原始數據存檔，內容存儲：從各種來源安全高效地收集并存儲原始數據，以用于訓練模型。所收集數據的質量和多樣性至關重要，為后續的所有階段奠定了基礎。

在此階段，查找并收集數據集需要大容量存儲，通常來說會用到大容量企業級HDD（eHDD）。由于企業級HDD可以經濟高效地存儲巨量規模化數據，且擁有更低的TCO，被視作是建立深度內容資源庫的理想選擇。全球線上和可訪問的冷數據及溫數據都主要通過它來保存。具體來說，選用單盤容量點更高的HDD能夠幫助云和企業級用戶提升存儲密度，實現數據中心的規模化擴展，滿足不斷增長的容量需求。

數據準備和轉換：在該階段，數據會被處理、清洗和轉換，以供模型訓練使用。在AI場景下，這一階段需要執行的操作很復雜，并且對性能的要求也更高。數據需要首先被轉化為AI模型可以使用的信息，包括對文本、圖片、視頻以及所有輸入AI模型的內容進行矢量化處理。這也是AI管道中對各方面需求都更高的階段，對計算和存儲基礎設施的要求也更加苛刻。

這是一個對性能要求很高且存儲密集的階段，該階段的存儲選擇從HDD轉向了SSD，從而建立高速數據湖以支持數據準備和轉換。在該階段，用戶會部署采用大容量企業級SSD（eSSD）的全閃存存儲系統，以增強現有的基于HDD的資源庫，或用于新的全閃存存儲層。

AI模型訓練：AI模型會在該階段進行反復訓練，從而基于訓練數據做出準確的預測。具體來說，模型是在高性能超級計算機上進行訓練的，而訓練效率在很大程度上取決于最大化GPU利用率和專門的高性能存儲。

從數據中心的角度來看，這一階段的工作負載對計算性能的要求極高，所以需要我們再次轉變存儲策略。這一階段理想的SSD是高性能、低容量、以計算為目的企業級SSD，確保向GPU集成系統輸入數據的環節不會因存儲性能不足而受到影響。此外，在該過程中還有很多復雜的操作，如檢驗點、歸檔等，可能會根據計算狀態，將整個數據集寫回數據湖或進行檢索。因此，計算密集型存儲和基于閃存的數據湖在該階段有時會混合應用。

界面交互：這一階段涉及為AI模型建立用戶友好型界面，包括各類應用程序接口（API）、儀表板和工具等，使得上下文的特定數據和終端用戶的提示可以結合起來。AI模型會被整合到現有的互聯網和客戶端應用程序中，在不取代現有系統的情況下增強其功能，進一步推動了存儲需求。

這一階段的存儲重點在終端，比如在客戶端設備、移動設備以及物聯網設備。這些都是真正執行推理的地方。這里不僅有較高的性能需求來應對推理過程，也有更大的容量需求來應對新數據的產生。

兼顧性能和容量的客戶端存儲設備填補了這些需求。最終這些內容會回到基于HDD的長期內容存儲系統中，無論是歸檔或云端的。換言之，PC和筆記本電腦需要容量更大、性能更強的客戶端SSD（cSSD），手機、物聯網系統和汽車會需要容量更大的嵌入式閃存設備，以在邊緣已有的應用中增強AI。

AI推理引擎：第五階段是奇跡實時發生的地方。在這個階段，訓練好的模型被部署到數據生產環境中，對新的數據進行分析并提供實時的預測或者生成新的內容。推理引擎的效率將直接影響AI響應的及時性和準確性。

這一階段需要用于緩存的高性能eSSD、用于高速數據湖的大容量eSSD、大容量cSSD以及用于AI驅動邊緣設備的嵌入式閃存。

新內容生成：最后一個階段是新內容誕生的地方。AI模型所帶來的洞察分析經常會產生新的數據，這些數據因其價值或趣味性而被存儲。盡管這一階段標志著循環的結束，但與此同時生成的新數據又會被反饋到數據周期中，通過不斷提升數據價值以用于未來模型的訓練和分析，實現持續的改進和創新。

生成的內容將被存儲到大容量eHDD中，在數據中心實現大容量存儲、備份和歸檔。同時，大容量cSSD和嵌入式閃存設備也將用于存儲邊緣設備中額外由AI驅動的數據。

合理的存儲產品組合，進一步優化AI領域投資效益

上述每個階段都有著不同的基礎設施需求、計算需求、存儲需求以及不同的工作負載特性，但每個階段都是整個人工智能數據周期中不可分割的一部分。針對不同階段差異化的存儲需求，企業可以通過優化存儲組合來應對大規模AI運算負載，搭建更為先進的存儲基礎架構，進而提高AI工作流的效率并降低TCO，進一步優化在AI領域的投資效益。

西部數據已戰略性地調整閃存和HDD產品和技術路線圖，幫助應對人工智能數據周期中每個關鍵環節的數據存儲需求。

西部數據現已正式向指定客戶出樣具備行業領先容量的32TB 企業級ePMR HDD。全新的大容量Ultrastar DC HC690 UltraSMR HDD專為超大規模云和企業級數據中心的巨量數據存儲需求設計。在人工智能工作流這類對大規模數據存儲和低TCO有嚴格要求的應用場景下，該產品可發揮重要作用。此外，憑借先進的ePMR技術和OptiNAND技術、長遠的產品規劃和可預見的容量提升，西部數據可以幫助用戶充分應對當前乃至未來AI應用對存儲日益增長的需求。

<西部數據Ultrastar DC HC690 UltraSMR HDD>

為滿足市場對大容量SSD的需求，西部數據全新的企業級SSD將容量提升到了32TB和64TB，并針對人工智能數據周期中第二階段的高性能存儲需求和其他大容量性能存儲需求著重優化。全新Ultrastar DC SN655+企業級SSD采用PCIe Gen 4接口，并集成了多項用于服務AI用例的軟件特性和功能。

<西部數據Ultrastar DC SN655+ 企業級SSD>

針對人工智能數據周期第三、四、五階段的高性能存儲需求，西部數據推出了旗下首款企業級PCIe Gen 5.0解決方案——Ultrastar DC SN861 SSD，擁有市場領先的隨機讀寫表現，容量高達16TB，隨機讀取性能相比上一代產品提升約3倍，超低的延遲和非凡的響應速度尤其適用于大語言模型（Large Language Model, LLM）的訓練、推理和AI服務部署。此外，更低的能耗能夠提供更高的每瓦特IOPS（IOPS/Watt），有助于企業進一步降低TCO。PCIe Gen 5帶來的帶寬提升滿足了AI行業計算密集型工作環境對高速計算和低時延的需求。

< 西部數據Ultrastar DC SN861企業級SSD – U.2 >

< 西部數據Ultrastar DC SN861企業級SSD – E1.S >

AI提速內容增長，數據存儲未來可期

在數據中心，預計未來五年內，HDD 和企業級SSD 都有顯著的 EB 級增長機會。

為滿足市場對大容量SSD的需求，西部數據全新的企業級SSD將容量提升到了32TB和64TB，并針對人工智能數據周期中第二階段的高性能存儲需求和其他大容量性能存儲需求著重優化。全新Ultrastar DC SN655+企業級SSD采用PCIe Gen 4接口，并集成了多項用于服務AI用例的軟件特性和功能

在客戶端，無論是移動設備還是PC市場上，越來越多的支持AI以及AI驅動的PC和移動設備正在涌現。這些設備對性能的要求更高，同時由于需要處理和存儲的數據量正不斷增加，對大容量的存儲需求也在上升。這些趨勢共同推動了存儲需求的大幅度增長，西部數據預計在未來五年內，PC和筆記本電腦市場的cSSD需求會出現25%到35%的增長，智能手機的閃存需求會出現40%到50%的增長。

人工智能數據周期展示了這一持續生成數據和使用數據的循環，并闡述了這一循環是如何加速對高性能且可擴展的存儲技術的需求。存儲對管理大型AI數據集、高效重構復雜數據并推動進一步創新來說至關重要。西部數據深刻理解AI和數據存儲之間的動態關系，在不斷提供更大容量產品的基礎上，為下一代AI工作負載所需要的極致性能和耐用性提供量身打造的存儲解決方案。憑借持續豐富擴展的產品組合、長遠的技術路線和不懈突破創新，西部數據將幫助用戶釋放AI的革新力量，創造更多價值。

審核編輯 黃宇