電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)近年來,在全球數(shù)字化、智能化的浪潮下,智能手機(jī)、自動(dòng)駕駛、數(shù)據(jù)中心、圖像識別等應(yīng)用推動(dòng) AI服務(wù)器市場迅速成長。根據(jù) IDC 數(shù)據(jù),2021 年全球 AI 服務(wù)器市場規(guī)模已達(dá)到 145 億美元,并預(yù)計(jì) 2025 年將超過 260 億美元。
近段時(shí)間ChatGPT概念的火熱,更是對算力基礎(chǔ)設(shè)施的需求起到了帶動(dòng)作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時(shí)候表示,ChatGP的訓(xùn)練和部署,都需要大量智能計(jì)算數(shù)據(jù)存儲以及傳輸資源,計(jì)算機(jī)基礎(chǔ)設(shè)施、算力等上游技術(shù)將因此受益。
ChatGPT有著多達(dá)1750億個(gè)模型參數(shù)。在算力方面,GPT-3.5在訓(xùn)練階段消耗的總算力約3640PF-days。在應(yīng)用時(shí),ChatGPT仍然需要大算力的服務(wù)器支持。ChatGPT的持續(xù)爆火也為AIGC帶來全新增量,行業(yè)對AI模型訓(xùn)練所需要的算力支持提出了更高要求。
寧暢是一家集研發(fā)、生產(chǎn)、部署、運(yùn)維一體的服務(wù)器廠商,及IT系統(tǒng)解決方案提供商。該公司早早就開始著重發(fā)力于人工智能服務(wù)器和液冷服務(wù)器。趙雷表示,公司目前在用的、在研的人工智能和液冷服務(wù)器,包括明年還將推出的浸沒液冷服務(wù)器,剛好跟上算力高速增長的市場需求。公司隨時(shí)準(zhǔn)備著為客戶提供合適的高算力產(chǎn)品和解決方案。
在人工智能服務(wù)器方面,寧暢已經(jīng)推出多款產(chǎn)品,包括X620 G50、X660 G45、X640 G40、X620 G40。X620 G50適用于機(jī)器學(xué)習(xí)、AI推理、云計(jì)算、高性能計(jì)算等場景;660 G45是專門為深度學(xué)習(xí)訓(xùn)練開發(fā)的高性能計(jì)算平臺;X640 G40是兼?zhèn)溆?xùn)練與推理功能的全能型GPU服務(wù)器;X620 G40性能提升的同時(shí)支持PCIe 4.0高速總線技術(shù),完美支持NVIDIA各類最新型GPU加速服務(wù),是最為理想的AI推理平臺。
在液冷服務(wù)器方面,寧暢推出了三款冷板式液冷服務(wù)器,包括產(chǎn)品B5000 G4 LP、X660 G45 LP、R620 G40 LP,范圍覆蓋了高密度、通用機(jī)架以及人工智能服務(wù)器產(chǎn)品,可滿足科學(xué)計(jì)算、AI訓(xùn)練、云計(jì)算等眾多IT應(yīng)用場景,可滿足用戶不同需求。
作為服務(wù)器廠商需要給下游互聯(lián)網(wǎng)客戶提供怎樣的產(chǎn)品和服務(wù)呢?對于服務(wù)器廠商來說,不只是要提供服務(wù)器硬件或者基礎(chǔ)設(shè)施,還要有對應(yīng)的服務(wù)能力。
從服務(wù)層面來看,在用戶現(xiàn)場會關(guān)注什么呢,比如說核心業(yè)務(wù),會關(guān)注業(yè)務(wù)的在線率,不管服務(wù)器壞不壞,整個(gè)業(yè)務(wù)的運(yùn)行是要有彈性的、靈活的,不會給客戶造成影響的。就以百度、微信這些業(yè)務(wù)為例,大家?guī)缀醪粫吹轿⑿挪荒苡昧耍蛘甙俣人阉鞑环答伣Y(jié)果了。
趙雷表示,對于服務(wù)器廠商來說,要做的是在服務(wù)層面能夠快速響應(yīng),不管是采用現(xiàn)場備件模式,機(jī)房備機(jī)模式,還是駐場人員巡檢的模式,都需要做到24小時(shí)的快速響應(yīng)。這是純粹的服務(wù)方面,也就是說,在互聯(lián)網(wǎng)搭建業(yè)務(wù)連續(xù)性良好的基礎(chǔ)上,服務(wù)器廠商能夠?qū)⒐收虾涂焖?a target="_blank">維修的能力做到極致,有效地支撐客戶的前端應(yīng)用。
從產(chǎn)品層面來看,對于每個(gè)硬件子系統(tǒng)在設(shè)計(jì)研發(fā)過程中,都需要從易維修和低故障角度去思考如何將產(chǎn)品做得更好。寧暢在這方面做了很多工作:首先,現(xiàn)在冷卻方式是影響故障率比較重要的因素,因?yàn)闇囟忍吖收下示蜁撸瑢帟车木茱L(fēng)冷和液冷的方式,能夠有效地降低芯片和對應(yīng)組件的故障率。
其次,其精密六維減震模式,能夠有效提升硬盤的性能,降低故障率;接著是,采用DAE的散熱器,從散熱的維度有效降低光模塊的故障率。同時(shí)CPU、GPU的液冷可以有效降低CPU、GPU的故障率;通過內(nèi)存的漏斗,內(nèi)存的故障篩選或者在線隔離技術(shù),有效地降低內(nèi)存的故障率;另外還在板卡走線、機(jī)箱結(jié)構(gòu)方面進(jìn)行了優(yōu)化設(shè)計(jì)。
此外還有整機(jī)BMC易管理特性,趙雷認(rèn)為,任何東西不可能不壞,有毛病是不可避免的,壞了以后,如何快速通知客戶或者維護(hù)人員維修時(shí)關(guān)鍵。BMC有一個(gè)完善的通知機(jī)制,郵件自動(dòng)通知、SMP遠(yuǎn)程告警、IPMI告警等。寧暢按照互聯(lián)網(wǎng)客戶的需求定制,將其融入整個(gè)機(jī)房的運(yùn)維系統(tǒng),出現(xiàn)故障以后可以第一時(shí)間通知去維修。
雖然目前國內(nèi)有不少優(yōu)秀的服務(wù)器、云廠商等,不過整體來看,國內(nèi)的算力仍然存在瓶頸,比如,總體算力不夠,算力的分布不平均。部分客戶算力過剩,部分客戶算力不足。或者A時(shí)間算力過剩,B時(shí)間算力不足,這是算力協(xié)調(diào)的問題。
短期來看這個(gè)問題要靠云技術(shù)解決,長期來看是要提供過剩的算力。也就是說,需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問題,還需要提供算力、算力效率等。
再比如算力成本高的問題,雖然目前每單位算力單價(jià)下降了,但是過去幾年服務(wù)器的平均售價(jià)一直上漲。趙雷認(rèn)為,可能算力類型單一,不太能夠有效地支撐高速增長的模式,可能要有各種各樣不同類型的算力。比如ChatGPT,是不是可以做針對GPT模型專門的ASIC。算力的應(yīng)用類型越窄,它的效率就會越高,越通用,效率就越低。
整體而言,過去幾年在全球數(shù)字化、智能化浪潮下,市場對算力的需求不斷增加。ChatGP的出現(xiàn)更是讓行業(yè)對算力提出了新的要求。國內(nèi)服務(wù)器廠商在對人工智能行業(yè)提供算力支持方面已經(jīng)有所準(zhǔn)備。不過從目前的情況來看,國內(nèi)在算力方面仍然存在一些瓶頸,比如算力分布不均勻,成本高等問題。后續(xù)還需業(yè)界共同去探討解決。
近段時(shí)間ChatGPT概念的火熱,更是對算力基礎(chǔ)設(shè)施的需求起到了帶動(dòng)作用。寧暢副總裁兼CTO趙雷此前在接受媒體采訪的時(shí)候表示,ChatGP的訓(xùn)練和部署,都需要大量智能計(jì)算數(shù)據(jù)存儲以及傳輸資源,計(jì)算機(jī)基礎(chǔ)設(shè)施、算力等上游技術(shù)將因此受益。
ChatGPT有著多達(dá)1750億個(gè)模型參數(shù)。在算力方面,GPT-3.5在訓(xùn)練階段消耗的總算力約3640PF-days。在應(yīng)用時(shí),ChatGPT仍然需要大算力的服務(wù)器支持。ChatGPT的持續(xù)爆火也為AIGC帶來全新增量,行業(yè)對AI模型訓(xùn)練所需要的算力支持提出了更高要求。
寧暢是一家集研發(fā)、生產(chǎn)、部署、運(yùn)維一體的服務(wù)器廠商,及IT系統(tǒng)解決方案提供商。該公司早早就開始著重發(fā)力于人工智能服務(wù)器和液冷服務(wù)器。趙雷表示,公司目前在用的、在研的人工智能和液冷服務(wù)器,包括明年還將推出的浸沒液冷服務(wù)器,剛好跟上算力高速增長的市場需求。公司隨時(shí)準(zhǔn)備著為客戶提供合適的高算力產(chǎn)品和解決方案。
在人工智能服務(wù)器方面,寧暢已經(jīng)推出多款產(chǎn)品,包括X620 G50、X660 G45、X640 G40、X620 G40。X620 G50適用于機(jī)器學(xué)習(xí)、AI推理、云計(jì)算、高性能計(jì)算等場景;660 G45是專門為深度學(xué)習(xí)訓(xùn)練開發(fā)的高性能計(jì)算平臺;X640 G40是兼?zhèn)溆?xùn)練與推理功能的全能型GPU服務(wù)器;X620 G40性能提升的同時(shí)支持PCIe 4.0高速總線技術(shù),完美支持NVIDIA各類最新型GPU加速服務(wù),是最為理想的AI推理平臺。
在液冷服務(wù)器方面,寧暢推出了三款冷板式液冷服務(wù)器,包括產(chǎn)品B5000 G4 LP、X660 G45 LP、R620 G40 LP,范圍覆蓋了高密度、通用機(jī)架以及人工智能服務(wù)器產(chǎn)品,可滿足科學(xué)計(jì)算、AI訓(xùn)練、云計(jì)算等眾多IT應(yīng)用場景,可滿足用戶不同需求。
作為服務(wù)器廠商需要給下游互聯(lián)網(wǎng)客戶提供怎樣的產(chǎn)品和服務(wù)呢?對于服務(wù)器廠商來說,不只是要提供服務(wù)器硬件或者基礎(chǔ)設(shè)施,還要有對應(yīng)的服務(wù)能力。
從服務(wù)層面來看,在用戶現(xiàn)場會關(guān)注什么呢,比如說核心業(yè)務(wù),會關(guān)注業(yè)務(wù)的在線率,不管服務(wù)器壞不壞,整個(gè)業(yè)務(wù)的運(yùn)行是要有彈性的、靈活的,不會給客戶造成影響的。就以百度、微信這些業(yè)務(wù)為例,大家?guī)缀醪粫吹轿⑿挪荒苡昧耍蛘甙俣人阉鞑环答伣Y(jié)果了。
趙雷表示,對于服務(wù)器廠商來說,要做的是在服務(wù)層面能夠快速響應(yīng),不管是采用現(xiàn)場備件模式,機(jī)房備機(jī)模式,還是駐場人員巡檢的模式,都需要做到24小時(shí)的快速響應(yīng)。這是純粹的服務(wù)方面,也就是說,在互聯(lián)網(wǎng)搭建業(yè)務(wù)連續(xù)性良好的基礎(chǔ)上,服務(wù)器廠商能夠?qū)⒐收虾涂焖?a target="_blank">維修的能力做到極致,有效地支撐客戶的前端應(yīng)用。
從產(chǎn)品層面來看,對于每個(gè)硬件子系統(tǒng)在設(shè)計(jì)研發(fā)過程中,都需要從易維修和低故障角度去思考如何將產(chǎn)品做得更好。寧暢在這方面做了很多工作:首先,現(xiàn)在冷卻方式是影響故障率比較重要的因素,因?yàn)闇囟忍吖收下示蜁撸瑢帟车木茱L(fēng)冷和液冷的方式,能夠有效地降低芯片和對應(yīng)組件的故障率。
其次,其精密六維減震模式,能夠有效提升硬盤的性能,降低故障率;接著是,采用DAE的散熱器,從散熱的維度有效降低光模塊的故障率。同時(shí)CPU、GPU的液冷可以有效降低CPU、GPU的故障率;通過內(nèi)存的漏斗,內(nèi)存的故障篩選或者在線隔離技術(shù),有效地降低內(nèi)存的故障率;另外還在板卡走線、機(jī)箱結(jié)構(gòu)方面進(jìn)行了優(yōu)化設(shè)計(jì)。
此外還有整機(jī)BMC易管理特性,趙雷認(rèn)為,任何東西不可能不壞,有毛病是不可避免的,壞了以后,如何快速通知客戶或者維護(hù)人員維修時(shí)關(guān)鍵。BMC有一個(gè)完善的通知機(jī)制,郵件自動(dòng)通知、SMP遠(yuǎn)程告警、IPMI告警等。寧暢按照互聯(lián)網(wǎng)客戶的需求定制,將其融入整個(gè)機(jī)房的運(yùn)維系統(tǒng),出現(xiàn)故障以后可以第一時(shí)間通知去維修。
雖然目前國內(nèi)有不少優(yōu)秀的服務(wù)器、云廠商等,不過整體來看,國內(nèi)的算力仍然存在瓶頸,比如,總體算力不夠,算力的分布不平均。部分客戶算力過剩,部分客戶算力不足。或者A時(shí)間算力過剩,B時(shí)間算力不足,這是算力協(xié)調(diào)的問題。
短期來看這個(gè)問題要靠云技術(shù)解決,長期來看是要提供過剩的算力。也就是說,需要云技術(shù)去平衡協(xié)調(diào)算力不均勻的問題,還需要提供算力、算力效率等。
再比如算力成本高的問題,雖然目前每單位算力單價(jià)下降了,但是過去幾年服務(wù)器的平均售價(jià)一直上漲。趙雷認(rèn)為,可能算力類型單一,不太能夠有效地支撐高速增長的模式,可能要有各種各樣不同類型的算力。比如ChatGPT,是不是可以做針對GPT模型專門的ASIC。算力的應(yīng)用類型越窄,它的效率就會越高,越通用,效率就越低。
整體而言,過去幾年在全球數(shù)字化、智能化浪潮下,市場對算力的需求不斷增加。ChatGP的出現(xiàn)更是讓行業(yè)對算力提出了新的要求。國內(nèi)服務(wù)器廠商在對人工智能行業(yè)提供算力支持方面已經(jīng)有所準(zhǔn)備。不過從目前的情況來看,國內(nèi)在算力方面仍然存在一些瓶頸,比如算力分布不均勻,成本高等問題。后續(xù)還需業(yè)界共同去探討解決。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報(bào)投訴
-
服務(wù)器
+關(guān)注
關(guān)注
12文章
9029瀏覽量
85205 -
AI
+關(guān)注
關(guān)注
87文章
30239瀏覽量
268474 -
算力
+關(guān)注
關(guān)注
1文章
936瀏覽量
14750
發(fā)布評論請先 登錄
相關(guān)推薦
2024年AI IC市場規(guī)模預(yù)計(jì)達(dá)1100億美元
據(jù)市場研究機(jī)構(gòu)預(yù)測,2024年全球AI IC(人工智能集成電路)市場規(guī)模將達(dá)到驚人的1100億美元。這一數(shù)字不僅彰顯了AI技術(shù)的迅猛發(fā)展,也反映了全球
算力再躍升!億萬克發(fā)布新一代AI服務(wù)器——G882N7+!
的特質(zhì),但算力告急。想要打破數(shù)智時(shí)代的算力瓶頸,異構(gòu)智算成為有效方案。 近期,億萬克面向激增的
SoC芯片,市場規(guī)模大漲
SoC芯片,市場規(guī)模大漲根據(jù)MarketsandMarkets的一份新報(bào)告,片上系統(tǒng)(SoC)市場規(guī)模預(yù)計(jì)將從2024年的1384.6億美元增長到2029年的2059.7億美元;預(yù)計(jì)從2024年到
環(huán)球儀器助力應(yīng)對服務(wù)器組裝挑戰(zhàn)
隨著智能化、云服務(wù)、AI等產(chǎn)業(yè)的發(fā)展,算力的作用日漸突出。服務(wù)器作為提供算
了解AI行業(yè)的定義
設(shè)計(jì)的集成電路,我國 AI 芯片市場規(guī)模不斷增長。2023 年中國 AI 芯片市場規(guī)模達(dá)到 1206 億元,同比增長 41.9%,預(yù)計(jì) 2024 年將增長至 1412 億元。
算力服務(wù)器為什么選擇GPU
隨著人工智能技術(shù)的快速普及,算力需求日益增長。智算中心的服務(wù)器作為支撐大規(guī)模數(shù)據(jù)處理和計(jì)算的核心設(shè)備,其性能優(yōu)化顯得尤為關(guān)鍵。而GPU
差分晶振在AI服務(wù)器中的應(yīng)用案例
隨著ChatGPT技術(shù)不斷發(fā)展和應(yīng)用,我國AI服務(wù)器市場保持較快增速(預(yù)計(jì) 2023年我國服務(wù)器市場規(guī)模將增至308億美元),而
發(fā)表于 06-17 15:15
?1次下載
AI高算力服務(wù)器散熱,需要用到哪些導(dǎo)熱界面材料?
在數(shù)字經(jīng)濟(jì)、AI大模型等發(fā)展的帶動(dòng)下,全球服務(wù)器的市場需求急劇提升,利用其強(qiáng)大的計(jì)算能力,能夠處理復(fù)雜的算法和海量數(shù)據(jù)。與此同時(shí),生成式人工智能的大算
智能算力存在缺口,AI服務(wù)器市場規(guī)模持續(xù)提升
商的資本支出將大幅增加。全球前四大云服務(wù)商資本支出調(diào)升,預(yù)計(jì)將從2023年的1400億美元提升至2024年的超過2000億美元。 ? AI 服務(wù)器市
算力十問:超算智算,通算及算存比
鄔賀銓指出,現(xiàn)有測算方法難以精準(zhǔn)衡量算力。國內(nèi)企業(yè)服務(wù)器的出貨量并不等于國內(nèi)市場的使用量,而且進(jìn)口國外的
【算能RADXA微服務(wù)器試用體驗(yàn)】Radxa Fogwise 1684X Mini 規(guī)格
通過網(wǎng)絡(luò)可以了解到,算能RADXA微服務(wù)器的具體規(guī)格:
處理器:BM1684X
算力:高達(dá)32Tops INT8峰值
發(fā)表于 02-28 11:21
液冷服務(wù)器行業(yè)分類及產(chǎn)業(yè)鏈分析
中國液冷服務(wù)器行業(yè)市場規(guī)模將持續(xù)高速增長,其原因在于:1. 國家綠色能源和可持續(xù)發(fā)展扶持政策,推動(dòng)液冷服務(wù)器廣泛應(yīng)用。2. 數(shù)字化轉(zhuǎn)型促進(jìn)液
全球及中國Al服務(wù)器市場規(guī)模情況
未來全球服務(wù)器市場規(guī)模有望超萬億。長遠(yuǎn)來看,在國內(nèi)外數(shù)據(jù)流量迅速增長以及公有云蓬勃發(fā)展的背景下,服務(wù)器作為云網(wǎng)體系中最重要的算
發(fā)表于 11-29 10:48
?2118次閱讀
評論