AI框架歷史演進和趨勢探索
電子發燒友網報道（文/李彎彎）AI框架是一種底層開發工具，是集深度學習核心訓練和推理框架、基礎模型庫、端到端開發套件、豐富的工具組件于一體的平臺。有了AI框架，工程師在工作時調試算法，就可以更快速、更高效。通俗一點講，AI框架相當于是AI時代的操作系統，如同PC時代Windows，移動互聯網時代的iOS和安卓。
AI框架發展現狀和趨勢
AI框架的歷史并不算長，從2010年誕生的Theano算起，至今不過十二年時間。2017年后，早期的Theano、Caffe、Torch等框架逐漸銷聲匿跡，2016年前后出現的TensorFlow（谷歌）、PyTorch（Facebook）、飛槳（百度）逐漸占據市場。從目前市場占有情況看，產業界以TensorFlow為主，學術界以PyTorch為主。與TensorFlow過于注重工業，PyTorch專注學界不同，飛槳的特性在于工業學界兩手抓，通過動態圖自動解析編譯靜態圖的技術，兼顧了學界的靈活，同時也實現了產業界希望的高效。除了TensorFlow、PyTorch、飛槳，深度學習框架還包括由Amazon設計研發并開源的MXNet、微軟在github上開源的CNTK、華為推出的MindSpore、北京一流科技有限公司開發的OneFlow，以及清華大學自研的Jittor，和騰訊、字節跳動、360開源的Angel、BytePS、TensorNet。過去這些年，AI框架已形成較為完整的技術體系，當前主流AI框架的核心技術演化出三大層次，分為基礎層、組件層和生態層，其中基礎層實現AI框架最基礎核心的功能，具體包括編程開發、編譯優化以及硬件使能三個子層。從技術生態體系中的功能定位看，AI框架對下調用底層硬件計算資源，對上支撐AI應用算法模型搭建，提供算法工程化實現的標準環境，是AI技術體系的關鍵核心。AI框架技術持續演進，歷經萌芽階段、成長階段、穩定階段，當前已進入深化階段。AI框架正向著超大規模AI、全場景支持、安全可信等技術特性深化探索。AI框架面臨的挑戰
然而在這個探索的過程中，面臨諸多挑戰。在超大規模AI方面，當前超大規模AI成為新的深度學習范式。OpenAI于2020年5月發布GPT-3模型，包含1750億參數，數據集達到45T，在多項NLP任務中超越了人類水平。這種超大規模的模型參數及超大規模的數據集的AI大模型范式，實現了深度學習新的突破。產業界和學術界看到這種新型范式的潛力后紛紛入局，繼OpenAI后，華為基于MindSpore框架發布了盤古大模型、智源發布了悟道模型、阿里發布了M6模型、百度發布了文心模型等。超大規模AI正成為下一代人工智能的突破口，也是最有潛力的強人工智能技術。超大規模AI需要大模型、大數據、大算力的三重支持，這就對AI框架提出了新的挑戰，比如內存墻，大模型訓練過程中需要存儲參數、激活、梯度、優化器狀態，鵬程 盤古一個模型的訓練就需要近4TB的內存。算力墻，以鵬程 . 盤古2000億參數量的大模型為例，需要3.6EFLOPS的算力支持，要求必須構建大規模的異構AI計算集群才能滿足這樣的算力需求，同時算力平臺要滿足智能調度來提升算力資源的利用率。還有通信墻、調優墻、部署墻等。在全場景支持方面，隨著云服務器、邊緣設備、終端設備等人工智能硬件運算設備的不斷涌現，以及各類人工智能運算庫、中間表示工具以及編程框架的快速發展，人工智能軟硬件生態呈現多樣化發展趨勢。但主流框架訓練出來的模型卻不能通用，學術科研項目間難以合作延伸，造成了深度學習框架的“碎片化”。目前業界并沒有統一的中間表示層標準，導致各硬件廠商解決方案存在一定差異，以致應用模型遷移不暢，增加了應用部署難度。因此，基于AI框架訓練出來的模型進行標準化互通將是未來的挑戰。然而即使面臨諸多挑戰，過去兩年，行業一直在持續探索，并取得一定突破，如2020年華為推出昇思MindSpore，在全場景協同、可信賴方面有一定的突破；曠視推出天元MegEngine，在訓練推理一體化方面深度布局等。整體而言，在人工智能體系中，AI框架處于貫通上下的腰部位置，下接芯片、上承應用，是一個關鍵樞紐，是推動AI應用大規模落地的關鍵力量。因此對于企業來說，克服AI框架當前面臨的挑戰，不斷探索新趨勢，進行技術創新，完善技術、功能和生態是關鍵。
更多熱點文章閱讀
- 中國汽車出口暴增 已占俄羅斯三分之一市場
- 全球PC出貨量歷史性爆降，蘋果卻逆勢收割？寒氣傳到產業鏈上游
- 汽車電驅動系統技術未來發展趨勢及關鍵技術分析
- NASA新電池能量密度達500Wh/kg，固態電池將成主流？
- 俄羅斯芯片采購清單曝光，進口或將困難重重！
原文標題：AI框架歷史演進和趨勢探索
文章出處：【微信公眾號：電子發燒友網】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
AI
+關注
關注
87文章
30146瀏覽量
268411
發布評論請先 登錄
相關推薦
探索手機震動馬達的種類與應用：技術演進與市場趨勢
手機震動馬達，作為手機中不可或缺的一個組件，扮演著提醒、通知和反饋的重要角色。然而，隨著技術的不斷發展和市場需求的變化，手機震動馬達也在不斷演進和多樣化。本文將深入分析手機震動馬達的種類、技術特點以及應用場景，為讀者呈現手機震動馬達領域的最新動態。
簡述微處理器的發展歷史
微處理器的發展歷史是一部充滿創新與突破的技術演進史，它見證了計算機技術的飛速發展和人類社會的巨大變革。以下是對微處理器發展歷史的詳細回顧，內容將涵蓋其關鍵節點、重要里程碑以及技術演進
英偉達推出Flextron AI框架:賦能靈活高效的AI模型部署
在人工智能與機器學習領域，隨著技術的不斷演進，模型的高效部署與適應性成為研究的新熱點。近日，英偉達與德克薩斯大學奧斯汀分校攜手宣布了一項重大突破——推出了一種名為FLEXTRON的新型靈活模型架構及訓練后優化框架，這一創新成果為AI
AI算法/模型/框架/模型庫的含義、區別與聯系
在人工智能（Artificial Intelligence，簡稱AI）的廣闊領域中，算法、模型、框架和模型庫是構成其技術生態的重要基石。它們各自承擔著不同的角色，但又緊密相連，共同推動著AI技術的不斷發展。以下是對這四者含義、區
ai大模型和ai框架的關系是什么
AI大模型和AI框架是人工智能領域中兩個重要的概念，它們之間的關系密切且復雜。 AI大模型的定義和特點 AI大模型是指具有大量參數的深度學習
AI大模型與AI框架的關系
在探討AI大模型與AI框架的關系時，我們首先需要明確兩者的基本概念及其在人工智能領域中的角色。AI大模型通常指的是具有極大規模、高度復雜性和強大能力的人工智能系統，它們能夠處理復雜的任
CubeIDE生成的代碼框架會卡在MX_X_CUBE_AI_Process（）函數中是怎么回事？
當我將網絡模型部署到STM32F407VGT6中時，CubeIDE生成的代碼框架會卡在MX_X_CUBE_AI_Process（）函數中是怎么回事？CUbeAI庫的版本是9.0。期待您的回復，謝謝
發表于 05-30 06:11
中國人工智能框架的三個行業趨勢
由于歷史和使用習慣的原因，TensorFlow 和 PyTorch 在中國的知名度也領先于其他人工智能框架，分別排在前兩位。
發表于 01-29 14:41
?433次閱讀
基于AI框架的智能工廠設計
在當今的智能制造業中，智能化和數字化的發展已經成為制造業的主要趨勢。隨著人工智能（AI）技術的不斷發展和進步，智能制造的智慧工廠已經成為制造業的一個重要發展方向。
發表于 01-26 15:18
?879次閱讀
Nullmax揭秘BEV-AI技術架構加速量產方案演進
12月19日，Nullmax首席科學家成二康博士應邀出席2023全球自動駕駛峰會（GADS 2023），在自動駕駛BEV感知技術論壇上發表《BEV-AI技術架構 – 量產方案演進》主題報告，透過Nullmax量產方案演進路線圖，
駕馭創造的力量: 生成式 AI 時代的 MLOps 演進
以下文章來源于谷歌云服務，作者 Google Cloud 駕馭創造的力量: 生成式?AI?時代的?MLOps?演進? MLOps 是一種將機器學習模型從實驗室推向生產的系統方法，它能夠通過全面
PCIe標準的演進歷史 各代PCIe標準之間的主要差異
自2003年推出以來，PCIe發展至今已經從最初的1.0升級到了6.0，本文則為大家簡單介紹一下PCIe標準的演進歷史以及各代PCIe標準之間的主要差異。
工商網監
評論