無(wú)論是移動(dòng)應(yīng)用程序或數(shù)字商務(wù)等可見(jiàn)應(yīng)用程序,還是航空公司定價(jià)算法或每次刷卡時(shí)激活的欺詐檢測(cè)系統(tǒng)等幕后流程,AI 都已成為我們?nèi)粘I钪胁豢苫蛉钡囊徊糠帧S绕涫巧墒?AI,預(yù)計(jì)未來(lái)十年將以?xún)晌粩?shù)的速度持續(xù)增長(zhǎng),到 2032 年市場(chǎng)規(guī)??赡苓_(dá)到1 萬(wàn)億美元以上。
AI 技術(shù)的發(fā)展推動(dòng)了對(duì)更強(qiáng)大的處理器的需求,尤其是 GPU,是構(gòu)建 AI 基礎(chǔ)設(shè)施的重要組成部分。NVIDIA 在行業(yè)和市場(chǎng)占據(jù)著主導(dǎo)地位,AMD 也越來(lái)越受歡迎,但企業(yè)必須面對(duì)GPU 持續(xù)增加的功耗,部分型號(hào)甚至已經(jīng)超過(guò)1kW,這一趨勢(shì)也導(dǎo)致全球數(shù)據(jù)中心功耗大幅增加。預(yù)計(jì)在 2022 年至 2026 年間還將翻一番,容量已然成為公共事業(yè)提供商和企業(yè)面臨的主要挑戰(zhàn)。
目前,大約80% 的數(shù)據(jù)中心運(yùn)營(yíng)商面臨功率限制,許多運(yùn)營(yíng)商對(duì)每機(jī)架功率限制在 10-20 kW的范圍內(nèi)。雖然傳統(tǒng)方法證明,提高處理器性能和效率可以提高總功耗,但很多數(shù)據(jù)中心運(yùn)營(yíng)商已經(jīng)達(dá)到功率上限,這也對(duì)企業(yè)的持續(xù)創(chuàng)新和增長(zhǎng)造成了阻礙。此外,擴(kuò)展機(jī)架空間或適應(yīng)特殊的冷卻方法通常成本高昂或受到空間和法規(guī)的限制;老化的服務(wù)器基礎(chǔ)設(shè)施(許多服務(wù)器使用時(shí)間超過(guò) 5 年)也不斷增加維護(hù)成本和安全風(fēng)險(xiǎn)。
對(duì)此,最實(shí)用的解決方案是升級(jí)現(xiàn)有的基礎(chǔ)設(shè)施。及時(shí)的服務(wù)器更新能夠大幅整合機(jī)架空間,從而降低運(yùn)營(yíng)成本,回收電力預(yù)算,并支持部署能夠處理 AI 工作負(fù)載的現(xiàn)代服務(wù)器。在評(píng)估服務(wù)器更新時(shí),運(yùn)營(yíng)商需要用新的方式來(lái)思考,只要新一代處理器的每瓦性能(即效率)提高,處理器功耗的增加就可以被接受,這意味著新服務(wù)器比舊服務(wù)器 “里程更長(zhǎng)”。盡管最大機(jī)架功率預(yù)算有限并開(kāi)始接近極限,通過(guò)專(zhuān)注于每機(jī)架的性能,企業(yè)可以?xún)?yōu)化現(xiàn)有的電力和空間,使他們能夠從數(shù)據(jù)中心的局限性轉(zhuǎn)為更加專(zhuān)注于業(yè)務(wù)的增長(zhǎng)和創(chuàng)新。
Ampere 的云原生處理器旨在提供橫向擴(kuò)展性能和領(lǐng)先的效率。AmpereOne 自研核是替代老舊服務(wù)器的最佳 CPU 選擇。在AmpereOne 效率白皮書(shū)中,詳細(xì)闡述了 AmpereOne 的效率優(yōu)勢(shì),相較 AMD EPYC 9004 系列處理器,如何使云原生和 AI 工作負(fù)載的每機(jī)架性能提高 67%。
以下是 7 個(gè)開(kāi)源工作負(fù)載,從 Web 服務(wù)器和負(fù)載均衡器到數(shù)據(jù)庫(kù),再到緩存和內(nèi)存中數(shù)據(jù)存儲(chǔ)。它們?cè)谠S多現(xiàn)代 Web 服務(wù)中頗受歡迎,因?yàn)樗鼈兺ㄟ^(guò)緩存處理 web 流量管理、數(shù)據(jù)存儲(chǔ)和性能優(yōu)化。
在AI 計(jì)算時(shí)代,通過(guò)將 AI 推理工作負(fù)載添加到上述通用工作負(fù)載中,可以增強(qiáng)各個(gè)行業(yè)的產(chǎn)品和服務(wù)。下表展示了 AmpereOne 在機(jī)架級(jí)別的性能和效率,適用于推理工作負(fù)載,如推薦引擎(DLRM)、圖像處理(ResNet-50)以及以語(yǔ)言為中心的工作負(fù)載(Whisper和Llama3)。這些工作負(fù)載支持現(xiàn)代設(shè)施,例如聊天機(jī)器人、在電子商務(wù)網(wǎng)站上查看推薦的產(chǎn)品、在流媒體平臺(tái)上呈現(xiàn)“您可能喜歡的節(jié)目”,或者為直播電視流提供實(shí)時(shí)隱藏字幕。
對(duì)于前面提到的每機(jī)架可用功率有限的企業(yè)和服務(wù)提供商來(lái)說(shuō),實(shí)現(xiàn)每機(jī)架的最大性能尤為重要。即使是中等規(guī)模的企業(yè),由 AI 驅(qū)動(dòng)的 web 服務(wù)也可以從 AmpereOne 中受益。與 AMD EPYC Genoa 8 個(gè)機(jī)架的輸出相比,AmpereOne 可以在不犧牲性能水平的情況下,將機(jī)架空間減少 38%,將功率預(yù)算降低 37%,并將購(gòu)置成本降低 49%。以下代理 web 服務(wù)包括作為前端 Web 服務(wù)器的 NGINX、作為鍵值存儲(chǔ)的 Redis、作為內(nèi)存數(shù)據(jù)庫(kù)的 Memcached、作為關(guān)系數(shù)據(jù)庫(kù)的 MySQL,以及分別作為推薦引擎和聊天機(jī)器人的 AI 組件 DLRM 和 Llama3。
AmpereOne 可以通過(guò)更新老化的服務(wù)器來(lái)重新利用預(yù)算、空間和功率。我們展示了如何節(jié)約資本支出,如何通過(guò)降低功耗和管理開(kāi)銷(xiāo)而實(shí)現(xiàn)運(yùn)營(yíng)支出的節(jié)省,在三年內(nèi)為企業(yè)節(jié)省大量 TCO。相較 AMD EPYC Bergamo,運(yùn)營(yíng)商可以節(jié)省 33% 的成本;與 AMD EPYC Genoa 相比,可節(jié)省高達(dá) 41% 的成本,這都?xì)w功于AmpereOne。
無(wú)論公司規(guī)模大小,“AI 海嘯” 將繼續(xù)降低企業(yè)大規(guī)模實(shí)施 AI 的準(zhǔn)入門(mén)檻。即使沒(méi)有資源去雇傭?qū)iT(mén)的 AI 團(tuán)隊(duì),企業(yè)也可以通過(guò)服務(wù)提供商來(lái)開(kāi)啟 AI 之旅,并迅速投入生產(chǎn)。因此,整合傳統(tǒng)基礎(chǔ)設(shè)施為 AI 擴(kuò)展釋放空間尤其重要。
-
處理器
+關(guān)注
關(guān)注
68文章
19160瀏覽量
229115 -
AI
+關(guān)注
關(guān)注
87文章
30108瀏覽量
268401
原文標(biāo)題:技術(shù)文章 | 為AI計(jì)算釋放空間
文章出處:【微信號(hào):AmpereComputing,微信公眾號(hào):安晟培半導(dǎo)體】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論