精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據中心不能“偏科”,AIGC時代算力、存力需協調發展

浪潮存儲 ? 來源:未知 ? 2023-10-10 17:30 ? 次閱讀

黃金比例是數學上一種堪稱“完美”的比例關系,最早由歐幾里得在《幾何原本》中進行了系統論述。之后,黃金比例的理念被廣泛應用到數學、物理、建筑、農業等多個領域,代表著最合理、最協調的一種情況或者狀態。

在數據中心領域,相關資源的合理配比愈發受到用戶們的關注。尤其是隨著大模型和生成式AI應用的興起,對于算力、存力等需求迅速提升,越來越多數據中心用戶意識到數據中心資源需要平衡配置和協調發展,才能充分發揮其能力與價值。

今年以來,產業界多次呼吁AI時代的數據中心建設不能走向偏科,算力與存力的建設同等重要。正如浪潮信息存儲產品線副總經理劉希猛所言:“當前,生成式AI時代的‘百模爭秀’格局初現,AI大模型的建設不僅要有算力底座,更要有存力平臺。將數據中心的計算、全閃存儲、混閃存儲按照11黃金比例建設,用戶可最大化獲得投資回報比。”

01 數據中心不能“偏科”

Gartner預測,到2023年將有20%的內容被AIGC所創建;到2025 年人工智能生成數據占比將達到10%。不可否認,生成式AI、大模型正在成為數據中心基礎設施發展最大的牽引力。可以預見,由AIGC和大模型帶來的基礎設施投入在未來會持續增長。

但從目前真實情況看,數據中心的建設是“偏科”和“失衡”的。出于各種原因,“重算力、輕存力”的現象較為明顯,大部分用戶非常看重GPU等算力產品的部署,卻忽視了存力建設的重要性,更缺少對于數據中心整體資源的規劃與匹配。

眾所周知,大模型應用的核心是高質量數據,數據的質量又決定著算法的性能、泛化能力和應用效果,而高質量數據的得到又與存力息息相關,圍繞數據的“傳輸、存儲、分析、管理、安全”等環節,存力是釋放數據價值必不可少的關鍵因素。

事實上,大模型發展到今天,已經屬于一個大規模、高質量數據和數據高效處理的工程難題。隨著大模型逐漸向多模態的方向演進,意味著除了持續的算力需求之外,對于數據存儲的容量、性能、多協議支持、可靠性、數據管理等帶來前所未有的變化。

例如,大模型多元異構數據的歸集、標注、訓練、推理和歸檔均需要極高的效率來移動數據,這意味著支持異構數據的多協議融合將是解決大模型數據移動與處理效率的關鍵所在;又如,AIGC應用會產生大量推理需求,隨之而來的就是大規模的并行處理和復雜IO,對數據存儲性能要求極高;再如,大模型訓練動輒需要調用成百上千塊GPU卡,并且存在著不同的CheckPoint,對于存儲的穩定可靠要求越來越高。

劉希猛直言,數據存儲與管理在AIGC時代承擔著兩個重要責任:其一、支撐起海量多元異構數據的全生命周期管理工作;其二、承載起AIGC數據訓練、推理對于性能、延時、容量、擴展性等各種嚴苛需求。

對于用戶而言,除了需要重視存力建設之外,一個不容忽視的現實挑戰即:數據中心的算力、存力資源比例到底應該如何配置才算最佳?為此,浪潮信息帶來了它的答案:從數據容量、帶寬、訪問頻率以及成本等多個因素綜合考量,未來數據中心在實踐中需要形成算力、閃存和混閃的11黃金比例,以滿足AIGC、大模型等人工智能應用的需求。

02 黃金比例是如何得出的

相比于歐美成熟市場,我國存力的發展一直滯后于算力。這從我國數據中心全閃存普及率較低、容災保護建設力度較弱等方面可見一斑。

隨著AIGC時代的到來,這種滯后的現象更加明顯與突出。面對AIGC迅猛的算力需求,很多用戶從一開始就“走一步看一步”,往往是先購買算力,使用過程中發現存力跟不上,再去著手配置相應的存力,缺乏數據中心資源整體規劃,建設方式明顯落伍。

某種程度而言,我國通過普及和推廣數據中心算力、閃存和混閃的11黃金比例既能讓用戶在基礎設施層面更好地支撐起AIGC領域的創新,又可推動我國數據中心存力建設,實現數據中心整體資源配置和利用水平的提升。

但數據中心資源配置的黃金比例為什么會是“1個GPU節點,對應1個全閃存儲、對應1個混閃存儲” ?浪潮信息之所以會提出算力、閃存和混閃的11黃金比例,主要來自兩個方面的核心原因:

首先,黃金比例源自于浪潮信息較早就涉足大模型的實踐。早在2021年,浪潮信息就發布了源1.0中文大模型,當時該模型參數就高達2457億個,訓練文本數據量高達50TB,在這些年的大模型訓練、推理實踐中,浪潮信息自身的基礎設施產品起到了關鍵的支撐作用;同時,浪潮信息也深刻感受到數據中心算力、存力的合理配置,對于發展大模型的重要性。

例如,在大模型訓練與推理場景中,數據存儲最大的挑戰就是如何將不同數據源源不斷傳輸到CPU和GPU,因此對于數據處理性能、如何與GPU配合等考驗極大。

“對于源1.0的實踐是浪潮信息存儲產品的先天優勢。市場中很少有企業能搭建一套大規模集群來進行支撐大模型的應用。”浪潮分布式存儲產品線總經理姜樂果如是說。

其次,作為國內領先的企業級存儲廠商,浪潮信息對于閃存、混閃等相關存力技術的未來發展有著深刻洞察,加上浪潮信息相關存儲解決方案已經在國內多家AIGC企業中成功應用,對于AIGC時代數據中心的整體建設已經積累了較多實踐。

“浪潮信息在閃存領域具有全棧技術創新能力,從底層SSD控制器到存儲系統軟硬件,再到上層應用,實現盤控協同,以及數據全鏈路的優化,有利于像AIGC這類應用充分釋放數據的價值。”劉希猛補充道。

事實上,考慮到市場內外部環境與因素,未來算力市場GPU緊缺的情況還將持續很長一段時間,這也讓算力、閃存和混閃的11黃金比例具有非常強的實踐意義。在算力緊缺的情況下,同等算力配置下,以存強算,通過算力與存力的合理配置,可以充分發揮基礎設施整體資源的價值。

為了進一步推動黃金比例在數據中心領域的推廣,浪潮信息近期又正式推出針對大模型應用存儲系統:AS 15000G7,以幫助用戶從復雜的基礎設施中解脫出來,全力投入到AIGC創新之中。

03 AS 15000G7,讓黃金比例落在實處

可以說,黃金比例的普及,存儲系統是關鍵。

眾所周知,近年來隨著閃存介質容量的持續提升以及價格的不斷下降,為存力在國內的發展創造了極好的條件。毫無疑問,AIGC的興起,將進一步驅動全閃、混閃等存儲產品加速創新。

“AIGC類應用帶來了對容量、性能、功能等需求的全面提升。”姜樂果介紹道,“存儲系統不僅需要進行全新組合與設計,進而滿足AIGC類應用的數據存儲需求,還要避免傳統存儲方案的復雜性和低效率。”

wKgaomUt2fCAeYE-AAAJnr7dEIg630.png因此,浪潮信息面向AIGC應用場景打造出AS 15000G7,通過極致性能、極致管理、極致融合和極致效率來滿足用戶們對于大模型訓練的數據存儲在性能、管理、融合和效率方面的綜合需求,助力AIGC在各個行業的落地,并加速釋放數據價值。

首先,針對大模型高并發、復雜IO等特征,AS 15000G7從架構、硬件、關鍵技術、IO路徑優化等多個方面為AIGC帶來了極致性能,為大模型的訓練等帶來性能保障。具體來看,AS 15000G7通過GDS、RDMA技術縮短I/O路徑,并且利用智能元數據管理顯著提升數據訪問和檢索速度;另外,獨有的智能網絡優化技術實現提升網絡端口并發能力,時延縮短50%以上,尤其是小文件級傳輸的時延可降至毫秒級。

wKgaomUt2fCAHoWfAAWYXnqEgts211.png

其次,針對大模型訓練流程管理,AS 15000G7提供全流程透明可控的極致管理。AS 15000G7可同時搭載AIStation調度平臺和InView數據管理平臺,對AI服務器、網絡、存儲等設備進行智能運維,支持訓練推理全流程的多租戶管理、資源分配、數據管理分析。可以通過一套存儲實現對AIGC數據采集、清洗、訓練、推理、歸檔不同場景全流程的設備資源監控和管理。

第三,針對大模型多元異構數據的歸集、標注、訓練、推理和歸檔,AS 15000G7融合架構實現多源異構巨量數據的極致融合,對文件、對象、大數據以及視頻的存儲方式進行并行訪問,支持多協議實時互訪互通和系統扁平擴展,數據訪問過程中保持語義一致、性能無損,從而對AI大模型海量多源異構非結構化數據實現高效共享。

最后,針對大模型所需要的巨額投入,AS 15000G7可助力用戶實現黃金比例的數據中心資源最佳配比,提升投資回報比,帶來極致效率。AS 15000G7根據閃存、磁盤、磁帶、光盤等不同介質分為性能型、均衡型、容量型三種機型,并且基于自動化的數據分層和遷移,在應用安全透明的前提下,實現熱溫冷冰數據全生命周期的管理,帶來TCO的顯著降低。

毋庸置疑,AIGC的興起標志著人工智能發展的拐點已至。當下,中國已經成為全球AIGC創新與發展的熱土。不完全統計,當前國內大模型數量已經超過200個,不同類型的企業均在全力推動AIGC、大模型的發展。如今,人們愈發意識到“大模型產業發展,基礎設施先行”的道理,算力、閃存和混閃的11黃金比例建設理念出現可謂是恰逢其時,有助于探索AIGC的企業降低基礎設施復雜度,從而更好地聚焦創新。

“AIGC現在才剛剛起步,未來會持續帶來對基礎設施的需求。預計到2026年,黃金比例的建設模式有望得到廣泛應用。”劉希猛最后表示道。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 存儲
    +關注

    關注

    13

    文章

    4262

    瀏覽量

    85670
  • 浪潮
    +關注

    關注

    1

    文章

    450

    瀏覽量

    23817
  • 存力
    +關注

    關注

    0

    文章

    23

    瀏覽量

    77

原文標題:數據中心不能“偏科”,AIGC時代算力、存力需協調發展

文章出處:【微信號:inspurstorage,微信公眾號:浪潮存儲】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    華為受邀出席產業發展方陣全體會議

    近日,產業發展方陣(以下簡稱“方陣”)全體會議在合肥順利舉辦,該方陣在工業和信息化部指導下,由中國信息通信研究院牽頭成立。華為數據中心網絡解決方案資深架構師林藝宏受邀參會
    的頭像 發表于 11-05 13:34 ?268次閱讀

    OCTC發布"工廠"!力促智中心高效規劃建設投運

    創新提出面向未來數據中心的"工廠"模式,核心是以規(劃)、建(設)、運(營)一體化的交鑰匙工程,實現智中心快速投運、綠色低碳,在當前
    的頭像 發表于 10-11 09:10 ?484次閱讀
    OCTC發布&quot;<b class='flag-5'>算</b><b class='flag-5'>力</b>工廠&quot;!力促智<b class='flag-5'>算</b><b class='flag-5'>中心</b>高效規劃建設投運

    并重:數據時代的雙刃劍

    在2024年的今天,人工智能(AI)技術已經全面滲透至我們生活的方方面面,從醫療診斷到智能交通,從金融分析到智能家居,AI正以前所未有的速度重塑我們的世界。這一變革背后,成為
    的頭像 發表于 10-08 16:00 ?724次閱讀

    中國大會召開,業界首個高質量評估體系發布

    首次完整地構建了人工智能時代高質量的理論體系,并探索性提出業界首個 "五位一體"的高質量評估體系。 發布現場 在當前由大模型和
    的頭像 發表于 09-28 16:50 ?234次閱讀
    中國<b class='flag-5'>算</b><b class='flag-5'>力</b>大會召開,業界首個<b class='flag-5'>算</b><b class='flag-5'>力</b>高質量評估體系發布

    大模型時代需求

    現在AI已進入大模型時代,各企業都爭相部署大模型,但如何保證大模型的,以及相關的穩定性和性能,是一個極為重要的問題,帶著這個極為重要的問題,我需要在此書中找到答案。
    發表于 08-20 09:04

    液冷技術:迎接AIGC時代數據中心的散熱挑戰

    隨著人工智能生成內容(AIGC)的跨越式發展需求呈爆炸式增長,帶動了數據中心的功耗和熱管理需求的飛速上升。AI模型訓練和推理過程中的高
    的頭像 發表于 08-15 11:26 ?387次閱讀
    液冷技術:迎接<b class='flag-5'>AIGC</b><b class='flag-5'>時代數據中心</b>的散熱挑戰

    IaaS+on+DPU(IoD)+下一代高性能底座技術白皮書

    ,特別是在智領域,對系統大小有決定性作用;DPU負責數據在各種 CPU 之間、CPU 與 GPU、以及 GPU 與 GPU 之間高效
    發表于 07-24 15:32

    憶聯全場景存儲解決方案助力金融數據中心飛躍

    AI時代數據中心建設正在經歷一場深刻的變革。依照行業最高標準建設的金融數據中心需要怎樣的?當高密度、大容量、高可靠、高性能存儲逐步成為
    的頭像 發表于 07-23 18:15 ?1103次閱讀
    憶聯全場景存儲解決方案助力金融<b class='flag-5'>數據中心</b>存<b class='flag-5'>力</b>飛躍

    江蘇省基礎設施發展專項規劃:打造供給服務新高地

    按照規劃,江蘇將全力打造“2+N+X”網絡梯次多元布局,包括南京、蘇州兩個國家級核心算樞紐集群,N個省內城市級數據中心(云計算中心、智
    的頭像 發表于 04-26 15:58 ?383次閱讀

    中心:數字經濟發展的新引擎

    隨著數字經濟的快速發展中心正逐漸成為推動經濟發展的重要力量。
    的頭像 發表于 04-13 08:27 ?1586次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>中心</b>:數字經濟<b class='flag-5'>發展</b>的新引擎

    一圖看懂星河AI數據中心網絡,全面釋放AI時代

    華為中國合作伙伴大會 | 一圖看懂星河AI數據中心網絡,以網強,全面釋放AI時代
    的頭像 發表于 03-22 10:28 ?705次閱讀
    一圖看懂星河AI<b class='flag-5'>數據中心</b>網絡,全面釋放AI<b class='flag-5'>時代</b><b class='flag-5'>算</b><b class='flag-5'>力</b>

    CloudFabric3.0超融合數據中心網絡全新升級,攜手共筑新聯接

    在華為中國合作伙伴大會2024期間,華為舉辦了以“超融合數據中心網絡,攜手共筑新聯接”為主題的數據中心網絡分論壇。
    的頭像 發表于 03-19 09:18 ?827次閱讀

    大茉莉X16-P,5800M大稱王稱霸

    Rykj365
    發布于 :2024年01月25日 14:54:52

    網絡面臨三大挑戰

    2024年,以AIGC為代表的人工智能技術將進一步激發需求,網絡、智
    的頭像 發表于 01-12 10:39 ?1017次閱讀

    一文讀懂:什么是“”?

    的定義即計算能力(ComputingPower)。《中國白皮書(2022年)》將其定
    的頭像 發表于 12-22 08:27 ?6816次閱讀
    一文讀懂:什么是“<b class='flag-5'>算</b><b class='flag-5'>力</b>”?