GTC 2023直播：英偉達推出Hopper GPU，速度比PCIE快7倍
針對ChatGPT等大型語言模型的推理，我們宣布推出一款新的Hopper GPU配備雙GPU NVLINK的PCIE H100
同時還可支持商用PCIE服務器輕松擴展
目前在云上唯一可以實際處理ChatGPT的GPU是HGX A100與適用于GPT-3處理的HGX A100相比，一臺搭載四對H100及雙GPU NVLINK的標準服務器的速度
H100可將大型語言模型的處理成本，降低一個數量級
Grace Hopper非常適合處理大型數據集，例如適用于推薦系統和大型語言模型的AI數據庫。
如今，利用大容量內存，CPU會存儲和查詢巨型嵌入表，然后將結果傳輸到GPU進行推理，借助Grace-Hopper， Grace可以查詢嵌入表，并將結果直接傳輸到Hopper速度比PCIE快7倍
GTC 2023主題直播地址：https://t.elecfans.com/live/2302.html
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
cpu
+關注
關注
68文章
10825瀏覽量
211149 -
服務器
+關注
關注
12文章
9021瀏覽量
85183 -
gtc
+關注
關注
0文章
73瀏覽量
4417 -
ChatGPT
+關注
關注
29文章
1548瀏覽量
7494
發布評論請先 登錄
相關推薦
軟銀升級人工智能計算平臺,安裝4000顆英偉達Hopper GPU
軟銀公司宣布，其正在擴展的日本頂級人工智能計算平臺已安裝了約4000顆英偉達Hopper GPU。這一舉措顯著提升了平臺的計算能力。據悉，該平臺自2
英偉達:Hopper芯片需求強勁 英偉達發言人談生產增長
據外媒報道，英偉達發言人透露Hopper芯片需求強勁，而且Blackwell 芯片的廣泛采樣也已經開啟。而對于產量問題；則表示有望在下半年實現增長。
英偉達GPU新品規劃與HBM市場展望
在COMPUTEX 2024主題演講中，英偉達（NVIDIA）公布了其GPU產品的未來規劃。據英偉達透露，B100、B200和GB200系列
英偉達去年數據中心GPU出貨量占比約98%
半導體分析公司TechInsights的最新報告揭示了英偉達在數據中心GPU領域的驚人增長。據悉，在2023年，英偉
亞馬遜AWS暫緩訂購英偉達Grace Hopper，等待新品Grace Blackwel
今年 3 月，英偉達宣布了新款人工智能處理器Blackwell，比上一代Hopper提前不到一年面世。CEO黃仁勛表示，新產品在訓練大規模語言模型方面的性能將提升一倍。
英偉達靜候新品來臨，亞馬遜暫緩購買Grace Hopper
今年3月，英偉達發布了全新的Blackwell處理器，距離前任產品Hopper的發布不過短短一年。英偉達首席執行官黃仁勛表示，新款產品在訓練
進一步解讀英偉達 Blackwell 架構、NVlink及GB200 超級芯片
2024年3月19日，[英偉達]CEO[黃仁勛]在GTC大會上公布了新一代AI芯片架構BLACKWELL，并推出基于該架構的超級芯片GB200，將助推數據處理、工程模擬、電子設計自動化
發表于 05-13 17:16
全面解讀英偉達NVLink技術
NVLink是一種解決服務器內GPU之間通信限制的協議。與傳統的PCIe交換機不同，NVLink帶寬有限，可以在服務器內的GPU之間實現高速直接互連。第四代NVLink提供更高的帶寬，每條通道達到112Gbps，
發表于 04-22 11:01
?1244次閱讀
英偉達發布新一代AI芯片架構Blackwell GPU
近日，英偉達首席執行官黃仁勛在GTC 2024會議上發表主題演講，重磅推出全新AI芯片架構Blackwell GPU。這一創新技術的首款芯片
英偉達GTC大會將開幕 黃仁勛將帶你《見證AI的變革時刻》
英偉達GTC大會將開幕 黃仁勛將帶你《見證AI的變革時刻》 全球都在關注的英偉達GTC大會將開幕
英偉達GTC大會即將召開，聚焦AI與機器人技術前沿
備受矚目的英偉達GTC大會將于3月18日至21日盛大舉行。作為英偉達每年最重要的技術發布平臺，GTC
英偉達Grace-Hopper提供一個緊密集成的CPU + GPU解決方案
英偉達Grace-Hopper提供了一個緊密集成的CPU + GPU解決方案，針對生成式人工智能逐漸成為主導的市場環境。
工商網監
評論