chatgpt爆炸后,ai大型模型不斷開發,多種ai大型模型也陸續上市,在國內已經爆發了激烈的100大模型戰爭。
作為革命性的數據模型,chatgpt帶來的驚喜不僅僅是內容生產方式的變化,也給業界帶來了對普通人工智能的希望,推動了ai大規模模型和新應用的不斷出現。部分專家認為,未來人工智能研究的80%至90%將轉換為大型模型,我們正在走向大型模型時代。
計算能力、數據和算法是傳統ai的三個要素,共同實現了人工智能的廣泛應用。但是,隨著普通人工智能時代(agi)的到來,大容量數據需要大量訓練和優化,以達到更高的預測準確性和一般化能力,計算能力的需求已經無法與同期相比。
在大型模型蓬勃發展的時候,計算力量的供給和需求之間存在的巨大“差距”仍在擴大,如何解決對計算力量的“不安”成為產業界新的目標。
基于Transformer結構的大型模型需要越來越多的參數“投喂”來持續優化,隨著訓練參數的大小增加,計算需求的大小也隨之增加,計算集群越來越大。
在chatgpt中,openai構建了一個龐大的計算集群,由約3萬張英偉達v100顯卡來訓練chatgpt。反正密度fp16約有4000 p的功率。
gpt-4達到了100兆韓元的規模,生產需求與前年相比大幅增加。根據數據,大模型的參數數會隨著計算力的平方而增加。
投入ai建模的公司如雨后春筍般出現,再加上圍繞建模的人工智能生態界和由此引發的推理計算能力的需求,預計未來的計算能力差距將會進一步拉大。
生產能力是否充足將決定各公司大型模型產品的成敗。日鐵芯片產品線的老板zou表示,head企業的早期gpt mega模型需要約10,000張nvidia gpu,而重復的mega模型至少需要數千張最新gpu。在這一領域出現了很多追隨者,從追隨企業的角度看,一定不能落后于領頭企業,甚至要進行更多的運算基礎設施投資才能趕上。
壁仞科技系統架構副總裁丁云帆在人工智能行業盛會——北京智源大會發表《基于高性能通用GPU打造國產大模型訓練系統》的演講時指出,講話中chatgpt的成功要素是項目和算法的協同創新,數據是燃料,也是基礎,特別是高品質的數據。”計算方法起引擎的作用。計算是一個加速器,不僅是超大型gpu集群,內存和網絡集群也非常重要。
受禁令影響,國內市場的主要需求是英偉達a800和h800。隨著需求的不斷增加,英偉達a800的價格漲幅令人震驚,交貨周期也變長,甚至有部分新訂單表示:“可能要到12月份才能交貨。”
值得慶幸的是,國內企業率先在通用gpu領域進行布局,芯片量產、生態系統構建、應用擴張領域也在逐漸推進,隨著aigc產業的劃時代抬頭,打開了新的市場。
-
算法
+關注
關注
23文章
4601瀏覽量
92673 -
人工智能
+關注
關注
1791文章
46896瀏覽量
237670 -
大模型
+關注
關注
2文章
2339瀏覽量
2500
發布評論請先 登錄
相關推薦
評論