近日,中國電信人工智能研究院(TeleAI)攜手北京智源人工智能研究院,共同推出了全球首個單體稠密萬億參數語義模型——Tele-FLM-1T,這一里程碑式的成就標志著中國電信在人工智能領域取得了重大突破,并成為了國內首批發布稠密萬億參數大模型的機構。
面對大模型訓練過程中算力消耗巨大的挑戰,TeleAI與智源研究院并未止步于傳統方法。他們基于模型生長和損失預測等關鍵技術,共同研發出了Tele-FLM系列模型。這一模型不僅實現了高效的訓練過程,而且僅使用了業界普通訓練方案9%的算力資源。這意味著,在相同的計算資源下,Tele-FLM系列模型能夠處理更多的數據,完成更復雜的任務,大大提高了算力的利用效率。
值得一提的是,Tele-FLM-1T模型的訓練過程僅在112臺A800服務器上進行了4個月的時間,就完成了總計2.3T tokens的訓練。這一速度之快、效率之高,在業界堪稱罕見。這一成果的取得,不僅得益于TeleAI與智源研究院的精湛技術,更得益于他們對人工智能領域的深刻理解和不懈追求。
Tele-FLM-1T模型的發布,不僅展示了中國電信在人工智能領域的實力,也為整個行業帶來了新的啟示。未來,隨著技術的不斷進步和應用的不斷拓展,我們有理由相信,中國電信將繼續在人工智能領域發揮更大的作用,為人類社會的進步和發展做出更大的貢獻。
-
中國電信
+關注
關注
22文章
3419瀏覽量
61745 -
人工智能
+關注
關注
1787文章
46061瀏覽量
235022 -
模型
+關注
關注
1文章
3032瀏覽量
48363
發布評論請先 登錄
相關推薦
評論