近期,AI芯片初創企業Cerebras再次成為行業熱點。該公司推出了全新的「第三代晶圓級引擎」——WSE-3,其強大性能引起了業界的廣泛關注。
據悉,WSE-3的性能實現了驚人的提升。相較于上一代WSE-2,其性能直接翻倍,而功耗卻保持在相同水平。這一突破性進步再次彰顯了Cerebras在AI芯片領域的領先地位。
WSE-3采用了4萬億晶體管的5納米工藝制程,工藝水平達到了驚人的高度。更令人驚訝的是,WSE-3打造的單個超級計算機能夠訓練出高達24萬億參數的模型,相當于GPT-4/Gemini的十倍之多,這無疑將推動AI模型的發展邁入全新階段。
WSE-3擁有驚人的90萬個核心數量,并配備了44GB的片上SRAM存儲,其峰值性能達到125 FP16 PetaFLOPS。這一性能水平相當于52塊英偉達H100 GPU的總和,再次證明了Cerebras在AI計算領域的強大實力。
據悉,WSE-3在晶體管數量和芯片面積上也實現了巨大突破。與英偉達H100相比,WSE-3的晶體管數量高達40000億個,是H100的50倍之多;而芯片面積更是達到了驚人的46225平方毫米,是H100的57倍。這一巨大提升使得WSE-3在處理復雜AI任務時具備了更強大的能力。
此外,WSE-3的每個核心都可以獨立編程,并針對神經網絡訓練和深度學習推理中所需的基于張量的稀疏線性代數運算進行了優化。這意味著研究團隊可以在WSE-3的支持下,以前所未有的速度和規模訓練和運行AI模型,無需擔心復雜的分布式編程技巧。
由WSE-3組成的CS-3超級計算機能夠訓練出比GPT-4和Gemini大10倍的下一代前沿大模型。這一能力的提升將極大推動AI技術的發展和應用領域的拓展。
審核編輯:黃飛
-
神經網絡
+關注
關注
42文章
4716瀏覽量
99785 -
超級計算機
+關注
關注
2文章
451瀏覽量
41768 -
晶體管
+關注
關注
77文章
9403瀏覽量
136639 -
5nm
+關注
關注
1文章
342瀏覽量
25907 -
AI芯片
+關注
關注
17文章
1807瀏覽量
34584
發布評論請先 登錄
相關推薦
評論