國內科學家團隊發(fā)布超大規(guī)模AI預訓練模型
據(jù)消息，北京智源人工智能研究院發(fā)布四個超大規(guī)模人工智能預訓練模型，統(tǒng)稱為“悟道1.0”，涵蓋中文語言、多模態(tài)、認知、蛋白質預測四個領域，是幫助國內企業(yè)、機構開發(fā)人工智能應用的大型基礎設施。
“悟道1.0”由智源研究院學術副院長、清華大學唐杰教授領銜，帶領來自北京大學、清華大學、中國人民大學、中國科學院等單位的100余位AI科學家團隊聯(lián)合攻關，同時與快手、搜狗、360、阿里、新華社等龍頭企業(yè)共同研發(fā)工業(yè)級示范性應用。
智源研究院院長黃鐵軍教授介紹，近幾年這輪人工智能浪潮的基本特點是“數(shù)據(jù)+算力+算法=模型”，模型濃縮了訓練數(shù)據(jù)的內部規(guī)律，是實現(xiàn)人工智能應用的載體。近年來人工智能的發(fā)展，已經(jīng)從“大煉模型”逐步邁向了“煉大模型”的階段，通過設計先進的算法，整合盡可能多的數(shù)據(jù)，匯聚大量算力，集約化地訓練大模型，供大量企業(yè)使用，是必然趨勢。
智源研究院2020年10月啟動“悟道”項目，研發(fā)規(guī)模大（主要體現(xiàn)為參數(shù)量）、智商高、具備類人認知能力、統(tǒng)一對多模態(tài)數(shù)據(jù)的理解和建模、滿足各種應用需要的預訓練模型，特別是注重中文語料的采集和訓練。
責任編輯：lq6
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
搜狗
+關注
關注
0文章
90瀏覽量
13919 -
人工智能
+關注
關注
1791文章
46845瀏覽量
237535
發(fā)布評論請先 登錄
相關推薦
AI大模型的訓練數(shù)據(jù)來源分析
學術機構、政府組織或企業(yè)公開發(fā)布，涵蓋了各種類型的數(shù)據(jù)，如圖像、文本、音頻、視頻等。例如： ImageNet ：一個廣泛用于圖像識別任務的大規(guī)模圖像數(shù)據(jù)集。 Common Crawl ：提供了大量的網(wǎng)頁抓取數(shù)據(jù)以供自然語言處理模型
AI for Science：人工智能驅動科學創(chuàng)新》第4章-AI與生命科學讀后感
了傳統(tǒng)學科界限，使得科學家們能夠從更加全面和深入的角度理解生命的奧秘。同時，AI技術的引入也催生了一種全新的科學研究范式，即數(shù)據(jù)驅動的研究范式，這種范式強調從大量數(shù)據(jù)中提取有價值的信息，從而推動
發(fā)表于 10-14 09:21
《AI for Science：人工智能驅動科學創(chuàng)新》第二章AI for Science的技術支撐學習心得
和數(shù)量直接影響到模型的準確性和可靠性。因此，數(shù)據(jù)獲取、處理、分析和質量控制在AI for Science中至關重要。此外，數(shù)據(jù)驅動的研究范式也促使科學家從傳統(tǒng)的假設驅動轉向更加靈活和開放的研究方法
發(fā)表于 10-14 09:16
Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心
在推動亞太地區(qū)AI計算領域邁向新紀元的征程中，Zettabyte與緯創(chuàng)資通（Wistron Corporation）攜手宣布了一項重大合作——共同建設臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心，這一里程碑式的項目不僅標志著臺灣
谷歌正在考慮在越南建設超大規(guī)模數(shù)據(jù)中心
據(jù)可靠消息透露，Alphabet集團旗下的谷歌公司正積極籌劃在越南南部的經(jīng)濟樞紐胡志明市周邊建設一座“超大規(guī)模”數(shù)據(jù)中心。此舉標志著美國科技巨頭首次在東南亞國家進行此類重大投資，盡管具體的投資金額尚待揭曉。
超大規(guī)模集成電路（VLSI）中不可或缺的5種二極管
在快速發(fā)展的超大規(guī)模集成電路（VLSI）設計世界中，選擇正確的組件對于優(yōu)化性能和效率至關重要。二極管在超大規(guī)模集成電路的各種應用中起著不可或缺的作用，從整流到電壓調節(jié)。本文深入研究了2024年
SAS 24G+規(guī)范發(fā)布,為超大規(guī)模數(shù)據(jù)中心HDD和SSD
最新發(fā)布的SAS 24G+規(guī)范中得到了有力證明。該規(guī)范由SNIA SCSI貿易協(xié)會論壇（STA）與INCITS/SCSI標準組織攜手推出，專為下一代超大規(guī)模數(shù)據(jù)中心中的機械硬盤（HDD）與固態(tài)硬盤（SSD）量身打造。
大語言模型的預訓練
能力，逐漸成為NLP領域的研究熱點。大語言模型的預訓練是這一技術發(fā)展的關鍵步驟，它通過在海量無標簽數(shù)據(jù)上進行訓練，使模型學習到語言的通用知識
燧原科技與清程極智攜手共創(chuàng)AI未來：共筑超大規(guī)模智算集群新篇章
協(xié)議，雙方將攜手步入全新的合作階段，共同探索并開發(fā)面向超萬億參數(shù)大模型和超大規(guī)模集群的高性能系統(tǒng)軟件方案，標志著雙方在推動AI技術邊界、加速產業(yè)智能化進程上邁出了堅實的一步。
預訓練模型的基本原理和應用
預訓練模型（Pre-trained Model）是深度學習和機器學習領域中的一個重要概念，尤其是在自然語言處理（NLP）和計算機視覺（CV）等領域中得到了廣泛應用。預
【大語言模型：原理與工程實踐】大語言模型的預訓練
增長。DeepMind在相關論文中指出，模型大小和訓練Token數(shù)應以相似速率增長，以確保最佳性能。因此，構建與模型規(guī)模相匹配的預
發(fā)表于 05-07 17:10
名單公布！【書籍評測活動NO.30】大規(guī)模語言模型：從理論到實踐
等多種形式和任務。這個階段是從語言模型向對話模型轉變的關鍵，其核心難點在于如何構建訓練數(shù)據(jù)，包括訓練數(shù)據(jù)內部多個任務之間的關系、訓練數(shù)據(jù)與
發(fā)表于 03-11 15:16
超大規(guī)模數(shù)據(jù)中心采用三星FDP SSD降低存儲成本
主機數(shù)據(jù)放置技術一直是超大規(guī)模數(shù)據(jù)中心關注的話題，因為它影響所部署的SSD的總體擁有成本（TCO）。
晶晟微納發(fā)布N800超大規(guī)模AI算力芯片測試探針卡
近日，上海韜盛科技旗下的蘇州晶晟微納宣布推出其最新研發(fā)的N800超大規(guī)模AI算力芯片測試探針卡。這款高性能探針卡采用了前沿的嵌入式合金納米堆疊技術，旨在滿足當前超大規(guī)模AI算力芯片的高
中國電信規(guī)劃在上海建設首個國產超大規(guī)模算力液冷集群
中國電信規(guī)劃建設首個國產超大規(guī)模算力液冷集群 人工智能技術的快速發(fā)展催生了巨大的算力需求；中國電信規(guī)劃在上海規(guī)劃建設可支持萬億參數(shù)大模型訓練的智算集群中心。其中會搭載液冷技術，單池新建國產算力達10000卡，也是首個支持單池萬卡
工商網(wǎng)監(jiān)
評論