精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

2023北京智源大會亮點回顧 | 高性能計算、深度學習和大模型:打造通用人工智能AGI的金三角

GPU視覺識別 ? 來源:GPU視覺識別 ? 作者:GPU視覺識別 ? 2023-06-15 14:16 ? 次閱讀

wKgaomSKrKWAEoOfAAAOTISyOTc424.png

AIGC| Aquila | HuggingFace

AGI | DeepMind |Stability AI

通用人工智能(AGI)是人工智能領域的最終目標,也是一項極具挑戰性的任務。在諸多技術(深度學習、高性能計算、大模型訓練以及ChatGPT等)的支持下,AGI的實現正在逐步向前推進。與目前的弱人工智能不同,AGI是一種能夠像人類一樣進行思考、學習和解決問題的智能系統。它可以理解和應對各種不同的情境,并能夠自主地學習和適應新的環境。實現AGI需要克服許多技術和理論上的挑戰,例如如何讓計算機具有自我意識和情感,以及如何處理復雜的語言和語境。一旦實現了AGI,將會對人類社會產生深遠的影響,甚至可能改變我們所理解的本質。

北京智源大會于6月10日圓滿閉幕,OpenAI、DeepMind、Anthropic、HuggingFace、Midjourney、Stability AI等多位明星團隊及Meta、谷歌、微軟等知名大廠和斯坦福、UC伯克利、MIT等頂尖學府出席,共同探討人工智能發展。圖靈獎得主Yann LeCun、Geoffrey Hinton以及OpenAI創始人Sam Altman的演講更是推動大會氣氛到了高潮,展現專業深度與創意啟發兼具的魅力。

智源研究院院長黃鐵軍在演講中提到,要實現通用人工智能(AGI),有三條技術路線:第一是“大數據+自監督學習+大算力”形成的信息類模型;第二是具身智能,即基于虛擬世界或真實世界、通過強化學習訓練出來的具身模型;第三是腦智能,直接“抄自然進化的作業”,復制出數字版本的智能體。

OpenAI的GPT(生成式預訓練Transformer模型)就遵循第一條技術路線;以谷歌DeepMind的DQN(深度Q網絡)為核心取得的一系列進展即基于第二條技術路線。黃鐵軍表示,智源期望從“第一性原理”出發,通過構建一個完整的智能系統AGI,從原子到有機分子、到神經系統、到身體,實現通用人工智能。這是一個大概需要20年時間才能實現的目標。

小編將總結智源大會亮點,讓我們一起來看吧。

智源大會亮點總結

一、Geoffrey Hinton:超級AI風險緊迫

圖靈獎得主、深度學習之父Hinton在主題演講中提出值得深思的問題:“人工神經網絡是否比真正的神經網絡更聰明?”Hinton曾就職谷歌,直言對自己畢生工作感到后悔,并對人工智能危險感到擔憂。

他多次公開稱,人工智能對世界的危險比氣候變化更加緊迫。在演講中,再次談及AI風險。如果一個在多臺數字計算機上運行的大型神經網絡,除了可以模仿人類語言獲取人類知識,還能直接從世界中獲取知識,會發生什么情況呢?

顯然,它會變得比人類優秀得多,因為它觀察到了更多的數據。這種設想并不是天方夜譚。如果這個神經網絡能夠通過對圖像或視頻進行無監督建模,并且它的副本也能操縱物理世界,那么在最極端的情況下,不法分子會利用超級智能操縱選民,贏得戰爭。如果允許超級智能自行制定子目標,一個子目標是獲得更多權力,這個超級AI就會為了達成目標,操縱使用它的人類。

wKgaomSKrKaAQcUSAA-x2l6jtQI021.gif

二、智源研究院理事長張宏江與Sam Altman巔峰問答:AGI或將十年內出現

Sam Altman通過視頻連線現身,這是ChatGPT爆火之后首次在中國公開演講。他強調了全球AI安全對齊與監管的必要性,特別是隨著日益強大的AI系統的出現,加強國際間的通力合作,建立全球信任尤為重要。Altman還提到,對齊仍是一個未解決的問題,GPT-4在過去8個月時間完成對齊工作,主要包括擴展性和可解釋性。他引用了《道德經》中的一句話:“千里之行,始于足下”,強調了推進AGI安全和加強國際間的通力合作的重要性。

Altman認為,國際科技界合作是當下邁出建設性步伐的第一步應該提高在AGI安全方面技術進展的透明度和知識共享機制。OpenAI的主要研究目標集中在AI對齊研究上,即如何讓AI成為一個有用且安全的助手。一是可擴展監督,嘗試用AI系統協助人類監督其他人工智能系統。二是可解釋性,嘗試理解大模型內部運作“黑箱”。最終,OpenAI的目標是訓練AI系統來幫助進行對齊研究。

在隔空對話中,張宏江和Sam Altman一起探討了如何讓AI安全對齊的難題。當被問及OpenAI是否會開源大模型時,Altman稱未來會有更多開源,但沒有具體模型和時間表。他還表示不會很快有GPT-5。

wKgZomSKrKaAM9SmAAQe-TThjTQ142.png

三、LeCun:依然是世界模型的擁躉

圖靈獎得主卷積神經網絡之父LeCun繼續推行自己的“世界模型”理念。對于AI毀滅人類的看法,LeCun認為這種擔心實屬多余,因為如今的AI還不如一條狗的智能高,還沒有發展出真正的人工智能。他認為,構建人類水平AI的關鍵,可能就是學習“世界模型”的能力?!笆澜缒P汀庇闪鶄€獨立模塊組成:配置器模塊、感知模塊、世界模型、Cost模塊、Actor模塊、短期記憶模塊。他認為,為世界模型設計架構以及訓練范式,才是未來幾十年阻礙人工智能發展的真正障礙。

LeCun解釋道,AI不能像人類和動物一樣推理和規劃,部分原因是目前的機器學習系統在輸入和輸出之間的計算步驟基本恒定。如何讓機器理解世界如何運作,像人類一樣預測行為后果,或將其分解為多步來計劃復雜的任務呢?顯然,自監督學習是一個路徑。相比強化學習,自監督學習可以產生大量反饋,預測其輸入的任何一部分。

LeCun確定未來幾年人工智能的三大挑戰,就是學習世界的表征、預測世界模型、利用自監督學習。被問到AI系統是否會對人類構成生存風險時,LeCun表示,我們還沒有超級AI,何談如何讓超級AI系統安全呢?

wKgaomSKrKeAcKE8AAKgeXldiZo103.png

四、悟道·天鷹(Aquila):全面開放商用許可

悟道·天鷹(Aquila)系列大模型首次亮相,首個具備中英雙語知識,支持國內數據合規需求的開源語言大模型。該系列大模型已經全面開放商用許可,并開源了包括70億參數和330億參數的基礎模型、AquilaChat對話模型,以及AquilaCode“文本-代碼”生成模型。

wKgZomSKrKeAbPwuAAPIlxSnLzg974.png

1、性能更強

Aquila基礎模型(7B、33B)繼承了GPT-3、LLaMA等的架構設計優點,并替換了一批更高效的底層算子實現、重新設計實現了中英雙語的tokenizer,升級了BMTrain并行訓練方法。在訓練過程中,智源實現了比Magtron+DeepSpeed ZeRO-2將近8倍的訓練效率。這得益于智源去年大模型算法開源項目FlagAI,集成了BMTrain這樣新的并行訓練方法,優化計算和通信以及重疊的問題。此外,智源率先引入算子優化技術,將其與并行加速方法集成,進一步提升性能。

2、中英雙語的大模型

悟道·天鷹(Aquila)的發布非常值得鼓舞,因為很多大模型只學習英文,但悟道·天鷹(Aquila)需要同時學習中文和英文,訓練難度提升了很多倍。為了讓悟道·天鷹(Aquila)針對中文任務達到優化,智源放了將近40%的中文語料在訓練語料中。智源還重新設計實現了中英雙語的tokenizer(分詞器),以更好地識別和支持中文的分詞。

在訓練和設計的過程中,智源團隊特意權衡質量和效率兩個維度決定分詞器大小。悟道·天鷹(Aquila)基礎模型底座上打造AquilaChat對話模型(7B、33B)支持流暢的文本對話及多種語言類生成任務。通過定義可擴展的特殊指令規范,可以實現AquilaChat對其它模型和工具的調用,且易于擴展。AquilaCode-7B“文本-代碼”生成模型基于Aquila-7B強大的基礎模型能力,以小數據集、小參數量、高性能實現了中英雙語的開源代碼模型。AquilaCode-7B在英偉達和***上完成了代碼模型的訓練,并通過對多種架構的代碼+模型開源,推動芯片創新和百花齊放。

wKgaomSKrKiAUMzxAANXowLtIQY914.png

3、更合規、更干凈的中文語料

悟道·天鷹(Aquila)最鮮明的特點就在于支持國內數據合規需求。相比國外的開源大模型,悟道·天鷹(Aquila)使用的中文數據更加滿足合規需要,更加干凈。智源的目標是打造一整套大模型進化迭代流水線,讓大模型在更多數據和更多能力的添加之下,源源不斷地成長,并且會持續開源開放。悟道 · 天鷹(Aquila)在消費級顯卡上就可用,比如7B模型就能在16G甚至更小的顯存上跑起來。

AGI過去、現在及未來發展

要預知未來,先了解過去。AGI是DeepMind率先引入大眾視野并通過其努力引發整個世界關注的AI終極方向。

一、什么是AI、AGI、AIGC、ChatGPT?

1、AI


人工智能(AI)是指由人制造出來的機器所表現出來的智能,通過普通計算機程序來呈現人類智能的技術。人工智能涵蓋了很多不同的領域和技術,同時也指研究這樣的智能系統是否能夠實現,以及如何實現。

2、AGI


通用人工智能(Artificial General Intelligence, AGI)又稱“強人工智能(Strong AI)”“完全人工智能(Full AI)”,是具有一般人類智慧,可以執行人類能夠執行的任何智力任務的機器智能。通用人工智能是一些人工智能研究的主要目標,也是科幻小說和未來研究中的共同話題。與弱人工智能相比,通用人工智能可以嘗試執行全方位的人類認知能力。

3、AIGC


人工智能生成內容(Artificial Inteligence Generated Content,縮寫為AIGC),又稱生成式AI,被認為是繼專業生產內容(PGC)、用戶生產內容(UGC)之后的新型內容創作方式。


互聯網內容生產方式經歷PGC——UGC——AIGC的過程。


PGC是專業生產內容,如Web1.0和廣電行業中專業人員生產的文字和視頻,其特點是專業,內容質量有保證;UGC是用戶生產內容,伴隨Web2.0概念而產生,特點是用戶可以自由上傳內容,內容豐富;AIFC是由AI生成的內容,其特點是自動化生產,高效。

隨著自然語言生成技術NLG和AI模型的成熟,AIGC逐漸受到大家的關注,目前已經可以自動生成文字、圖片、音頻、視頻,甚至3D模型和代碼。AIGC極大的推動元宇宙的發展,元宇宙中大量的數字原生內容,需要由AI幫助完成創作。


4、ChatGPT


ChatGPT(Chat Generative Pre-trained Transformer)聊天生成預訓練轉換器,屬于AIGC范疇。ChatGPT是OpenAI開發的人工智能聊天機器人程序,于2022年推出。ChatGPT目前仍以文字方式交互,而除了可以用人類自然對話方式來交互,還可以用于更為復雜的語言工作,包括自動生成文本,自動問答,自動摘要等多種任務。

wKgZomSKrKiAdHzHAAGcdqekmk4103.jpg

二、2013-2022:AGI的簡要發展史

2015年,Deepmind第一版的DQN,第一次將DL和RL結合,開啟了AGI的實現道路。同年DeepMind的AlphaGo橫空出世,實現了深度學習的全新里程碑。

2016年,OpenAI成立。

2018年,OpenAI 提出Dota Five,在Dota上戰勝職業選手。

2019年,Deepmind提出AlphaStar,在星際爭霸上戰勝職業選手。同年,OpenAI實現了用機械手玩魔方。接下來的里程碑就轉向了語言模型,圖文生成及AI for Science。

2020年,OpenAI發布Image GPT,DeepMind發布AlphaFold-2。

2021年,OpenAI發布Dalle、GPT-3、Codex。

2022年,DeepMind發布AlphaCode,OpenAI發布Dalle-2、InstructGPT和ChatGPT。


上面列舉的可能不全,但主要是OpenAI和DeepMind的工作。其他公司及學界也有很多不錯的工作,但論影響力都達不到他們的高度。這兩家公司都宣稱要搞AGI,因此成為了關注的焦點。

三、AGI發展的背后緣由

看到了這么多的里程碑,他們之間有什么聯系?實際上,這些發展都是在David Silver的PPT中提到的范式中進行的,只是在其中加入了IL(Imitation Learning)模仿學習,讓關聯更加緊密。

1、DL

DL主要指的是基于深度神經網絡的一套學習訓練方式,簡單的說就是一個神經網絡,一個損失函數,一個反向傳播。

2、LeNet


深度學習的發展,網絡變了,變成了以Transformer為主流的網絡結構,但核心機制是完全沒有變化的。

wKgZomSKrKmAR1UzAADvOGo6yM4794.jpg

Transformer

IL和RL是構建損失函數訓練神經網絡的方法。IL模仿學習是指使用大量人類選手的數據來訓練神經網絡,以便讓它們學習如何在特定領域中表現得像人類一樣。例如,AlphaGo的第一代和AlphaStar都使用了大量圍棋和星際爭霸人類選手的數據來進行模仿學習。而GPT和ChatGPT則使用了大量的人類文本數據,通過自回歸的方式來進行模仿學習。模仿學習的優點在于訓練速度快,因為它提供了神經網絡可以學習的大量數據。

wKgaomSKrKqARGKbAAPYD6n2IMo711.png

來自David Silver的ppt

實際上,人類的學習過程也是模仿學習和強化學習的結合。因此,所謂的AI就是模仿人類學習而構建的智能。AlphaGo在模仿學習后開始強化學習,水平可以吊打人類專業選手;AlphaStar在模仿學習后開始強化學習,能夠戰勝人類專業選手;ChatGPT在模仿學習后(GPT)使用人類反饋的信息進行強化學習,能夠比較好地按照人類的指令來回答問題。這展示強化學習的威力。從某種程度上說,可以認為整個人類都是一個智能體,正在通過科學家做強化學習來拓展人類的文明邊界。

為什么早期的AI里程碑都是限定場景,而之后就變成了像GPT這樣的通用場景呢?

wKgZomSKrKqABNXtAADw293rvyA179.png

From John Schulman's PPT

早期的AI里程碑都是限定場景,因為限定場景的數據量太少,無法實現通用性。John Schulman(PPO和ChatGPT的作者)的這張圖對比了之前的Atari等游戲場景和GPT場景在任務分布上的不同。游戲場景都是獨立的,不同任務之間的差異也就是GAP非常大,所以AI學會一個游戲并不能讓其會玩另一個游戲。而GPT的場景是文字世界,總結、寫作、聊天都是聯系在一起的,所以它們的任務有千千萬,并且是連續的。使得GPT訓練后具備很強的Few-Shot Learning/Meta Learning的能力,即能夠實現非常強的泛化能力,面向全新的問題也能夠回答。Meta Learning(元學習)也就是學會學習,這個概念在學術界2017、2018年后非?;?,因為大家發現之前的AI都需要大量訓練才能做新任務,而人類則具備快速學習的能力,因此AI也需要具備這樣的能力。

GPT通過巨量的文本數據做模仿學習,InstructGPT通過巨量的任務文本數據做Instruct Finetuning,具備極強的快速學習能力。由此開創Prompt Engineering或者學術界叫In-Context Learning這個全新領域,即我們不再需要訓練模型,只需要修改開頭的輸入Prompt,就能讓AI快速學習并輸出合理的結果。

wKgaomSKrKuAZqrGAARCkuo_Pd4890.png

OpenAI非常快地意識到文字世界這個場景擁有的數據量無與倫比,因此迅速轉換賽道,關閉機器人組。這種決策令人十分欽佩。最近,DeepMind發布Ada,它仍然是游戲場景里的AI,但DeepMind也發現了原來Atari的任務空間分布差距太大的問題,因此改用自己構建的全新環境Xland進行大模型的訓練。從另一個角度看,如果這個XLand未來能夠變成真實世界,那么完全體的AGI也就有可能在其中誕生。因此,AGI的實現變成了一個時間問題。

wKgZomSKrKuAPPrjAAEEx5Oao3k941.jpg

四、2023-2028: AGI會如何發展?

1、文字世界的精進,LLM從普通到專業

目前ChatGPT看起來很驚艷,似乎什么都懂,但實際上存在很多事實錯誤和邏輯錯誤,如果讓它參加高考,除了英語,其他科目很難考高分。下一步的LLM需要變得更加專業,如通過高考考出985的水平,這樣LLM就能成為一個真正有知識有文化的人,也意味著AI將完全通過圖靈測試。GPT-4或許會給我們帶來驚喜。

通過高考之后,下一步當然是專業領域的學習。LLM能否通過司法考試或公務員考試?是否能獲得IMO或ACM的金牌?模仿學習之后,需要通過強化學習進行進一步的精進,這對于LLM在專業領域同樣適用。例如在數學領域,現實世界中并沒有那么多的數學難題可以模仿,需要通過強化學習來讓LLM解決數學難題。如果可以,基于Transformer的網絡架構還可以繼續發展,否則就需要全新的架構來進一步突破。目前,DeepMind的AlphaCode團隊正在探索這方面的問題,目前的算法仍然是模仿學習。

wKgaomSKrKyAOVKjAAC2EwAFH58503.jpg

2、征服多模態的視頻世界

相比文字世界,視頻世界的數據量要大得多。人類從嬰兒開始就是通過多模態的數據(當然還包括觸覺、味覺、嗅覺等)來快速學習。如果AI能夠實現很強的多模態學習能力,通過海量的視頻進行學習,那么AI將會展現出令人難以置信的能力。

3、大模型連接現實世界,成為一個General Agent

Ada在一個小的虛擬世界中展現了其通用的決策能力,而ChatGPT則在文字世界中展現了強大的通用文字能力。然而,AGI不可能局限于文字或多模態,關鍵在于決策。這也是我們堅信RL是通往AGI的初始原因。因此,大型模型將作為一個Agent智能體出現,影響現實世界!

wKgZomSKrKyAS0ItAADenQyt1E4840.jpg

4、自動駕駛將全面轉向大模型,并真正向L4、L5進發

自動駕駛是一個非常好的限定多模態場景,肯定會從大型模型的發展中受益。可以使用海量數據進行模仿學習,通過強化學習在仿真環境中進行優化,解決Corner Case,從而實現完全自動駕駛。甚至,可以基于一個多模態的大型模型來構建基礎模型,這樣不僅可以獲得自動駕駛的能力,還獲得一個能夠與人聊天的自動駕駛司機。這正是科幻片中的自動駕駛汽車所展現的。

5、通用家用機器人將大幅發展,同樣采用大模型

和自動駕駛類似,通用家用機器人也是一個限定的多模態場景,難度可能更大。Google的RT-1已經驗證了大模型驅動機器人的模式是可行的。

wKgaomSKrK2AP-gYAAB4ZN-EiCU875.jpg

接下來的核心還是數據!現實場景最大的問題就是數據。那么,如果前面基于視頻的多模態學習能很好實現,那么人型機器人就非常好辦,看無數的視頻,然后映射到人形機器人的動作上。再通過仿真環境做強化學習來解決corner case,從而人型機器人將能實現大的突破,走入家庭在10年內不是夢!

6、自然語言成為新的編程語言

wKgZomSKrK2ABLOrAALwy8bHiz4952.png

如果你Prompt足夠多,一定也會有Andrej Karpathy一樣的想法!所以,現在的小孩學編程可能意義不大,未來大部分人將直接通過自然語言編程和AI交互。

7、AI for Science將突飛猛進,越來越多科學領域被AI突破

wKgaomSKrK6APNmgAADBatp7sls712.jpg

剛看到微軟發布的ClimaX,天氣預測也是大模型加持。還有什么是大模型不能做的呢?

是否存在足夠通用處理器完成AGI

一、AGI特征

1、涌現

“涌現”并不是一個新概念,凱文·凱利在他的《失控》中就提到了這一概念,指的是眾多個體的集合會涌現出超越個體特征的某些更高級的特征。在大模型領域,“涌現”指的是當模型參數突破某個規模時,性能顯著提升,并且表現出讓人驚艷的、意想不到的能力,比如語言理解能力、生成能力、邏輯推理能力等等。

對于外行來說,涌現能力可以簡單地用“量變引起質變”來解釋:隨著模型參數的不斷增加,終于突破了某個臨界值,從而引起了質的變化,讓大模型產生了許多更加強大的、新的能力。如果想詳細了解大模型“涌現”能力的詳細分析,可以參閱谷歌的論文《Emergent Abilities of Large Language Models》。然而,目前,大模型發展還是非常新的領域,對“涌現”能力的看法也存在不同的聲音。例如,斯坦福大學的研究者對大語言模型“涌現”能力的說法提出了質疑,認為其是人為選擇度量方式的結果。

wKgZomSKrK6AeuRlAAD7J44RsbA820.jpg

2、多模態

每一種信息的來源或者形式,都可以稱為一種模態。例如,人有觸覺、聽覺、視覺等;信息的媒介有文字、圖像、語音、視頻等;各種類型的傳感器,如攝像頭、雷達、激光雷達等。多模態指從多個模態表達或感知事物。多模態機器學習指從多種模態的數據中學習并提升自身的算法。

傳統的中小規模AI模型基本都是單模態的,例如專門研究語言識別、視頻分析、圖形識別以及文本分析等單個模態的算法模型。隨著基于Transformer的ChatGPT的出現,之后的AI大模型逐漸實現了對多模態的支持。這些模型可以通過文本、圖像、語音、視頻等多模態的數據進行學習,并且基于其中一個模態學習到的能力,可以應用在另一個模態的推理。

此外,不同模態數據學習到的能力還會融合,形成一些超出單個模態學習能力的新的能力。多模態的劃分是人為進行的,多種模態的數據里包含的信息都可以被AGI統一理解,并轉換成模型的能力。在中小模型中,人為割裂了很多信息,從而限制了AI算法的智能能力。此外,模型的參數規模和模型架構也對智能能力有很大影響。

3、通用性

自2012年深度學習進入我們的視野以來,各種特定應用場景的AI模型如雨后春筍般涌現。這些模型包括車牌識別、人臉識別、語音識別等,以及一些綜合性場景,例如自動駕駛、元宇宙等。每個場景都有不同的模型,并且同一個場景中,不同公司開發的算法和架構也各不相同。因此,這一時期的AI模型極度碎片化。

然而,從GPT開始,我們看到了通用AI的曙光。最理想的AI模型應該是可以接受任何形式、任何場景的訓練數據,可以學習到幾乎所有的能力,并且可以做出任何需要做出的決策。最關鍵的是,基于大模型的AGI的智能能力遠高于傳統的用于特定場合的AI中小模型。完全通用的AI出現后,我們可以將其推廣到各種場景中,實現AGI+各種場景的應用。同時,由于算法逐漸確定,AI加速持續優化的空間也得到了擴大,從而可以不斷提升AI算力。算力的提升又會推動模型向更大規模參數的演進和升級。

二、通用處理器的可行性有多少?

隨著摩爾定律失效,CPU已經難以勝任大量計算任務,因此開始了一輪專用芯片設計的大潮。然而,以DSA為代表的專用芯片并沒有像預期的那樣成功,反而在AI大模型的加持下,成就了通用GPU的黃金年代。

然而,GPU的性能也即將到達上限,支持GPT大模型的GPU集群需要成千上萬顆GPU處理器,效率低下,建設和運行成本高昂。因此,是否可以設計更加優化的處理器,即具備通用處理器的特征,同時能夠實現更高效率和性能呢?我們可以將計算機上運行的系統拆分為若干個工作任務,并且二八定律表明,很多工作任務是相對確定的,例如虛擬化、網絡、存儲、安全、數據庫、文件系統和人工智能推理等。

即使應用層的計算任務比較隨機,仍然包含大量確定性的計算成分,例如安全、視頻圖形處理和人工智能等。因此,我們可以將處理器按照性能效率和靈活性能力分為三個類型:CPU、GPU和DSA。

根據二八定律,將80%的計算任務交給DSA完成,將16%的工作任務交給GPU完成,而CPU則負責剩余4%的其他工作。CPU的重要工作是兜底。根據性能/靈活性的特征,匹配最合適的處理器計算引擎,可以在實現足夠通用的情況下,實現最極致的性能。

wKgZomSKrK-AE-rgAAEQJApGgPI327.jpg

三、通用處理器的歷史和發展

wKgZomSKrK-ABWw6AAA1a0w7sYY094.jpg

通用計算的演進可以簡單地分為三個階段。第一代通用計算采用CPU同構架構。第二代通用計算則采用CPU+GPU異構架構。第三代通用計算(即新一代)則采用CPU+GPU+DSAs的超異構架構。

1、CPU同構

wKgaomSKrK-AJUAKAAXrGup2pBE568.png

Intel是CPU的發明者,也是第一代通用計算的代表。在近30年的時間里,CPU成就了Intel在2000年前后的霸主地位。然而,CPU的標量計算性能相對較弱,因此逐漸引入了向量指令集處理的AVX協處理器和矩陣指令集的AMX協處理器等復雜指令集,以不斷優化CPU的性能和計算效率,拓展其生存空間。

2、CPU+GPU異構

wKgZomSKrLCAcG-2AAFEJch9GrI404.jpg

雖然CPU協處理器可以在一些相對較小規模的加速計算場景中勉強使用,但其性能存在上限,并且不適合于大規模加速計算場景,特別是在AI等領域。因此,需要完全獨立的、更加重量的加速處理器。

GPU是通用并行計算平臺,是最典型的加速處理器。GPU計算需要有Host CPU來控制和協同,因此具體的實現形態是CPU+GPU的異構計算架構。NVIDIA發明了GP-GPU,并提供了CUDA框架,促進了第二代通用計算的廣泛應用。隨著AI深度學習和大模型的發展,GPU成為最炙手可熱的硬件平臺,也成就了NVIDIA萬億市值。GPU內部的數以千計的CUDA core,本質上是更高效的CPU小核,因此,其性能效率仍然存在上升的空間。為了進一步優化張量計算的性能和效率,NVIDIA開發了Tensor加速核心。

3、CPU+GPU+DSAs超異構

wKgaomSKrLCAWhTZAAB6yulNmUg223.png

技術發展永無止境,第三代通用計算面向未來更大算力需求場景的挑戰,采用多種異構融合的超異構計算。其中,有三個層次的獨立處理引擎,即CPU、GPU和DSA,組成CPU+XPU的異構計算架構。超異構計算不是簡單的多種異構計算的集成,而是多種異構計算系統在軟件到硬件層次上的深度融合。超異構計算的成功必須要實現足夠好的通用性。如果不考慮通用性,超異構架構里的計算引擎會使得架構碎片化問題更加嚴重,軟件人員將無所適從。

藍海大腦的高性能超算異構平臺支持多種硬件加速器,包括CPU、GPU、FPGA和AI等,能夠滿足大規模數據處理和復雜計算任務的需求。采用分布式計算架構,高效地處理大規模數據和復雜計算任務,為AGI算法的研究和開發提供強大的算力支持。具有高度的靈活性和可擴展性,能夠根據不同的應用場景和需求進行定制化配置。可以快速部署和管理各種計算任務,提高了計算資源的利用率和效率。為人工智能技術的發展和應用提供強有力的支持。

審核編輯黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 人工智能
    +關注

    關注

    1791

    文章

    46896

    瀏覽量

    237670
  • Agi
    Agi
    +關注

    關注

    0

    文章

    77

    瀏覽量

    10194
  • 深度學習
    +關注

    關注

    73

    文章

    5493

    瀏覽量

    120999
  • 大模型
    +關注

    關注

    2

    文章

    2339

    瀏覽量

    2501
收藏 人收藏

    評論

    相關推薦

    模型應用之路:從提示詞到通用人工智能AGI

    模型人工智能領域的應用正迅速擴展,從最初的提示詞(Prompt)工程到追求通用人工智能AGI)的宏偉目標,這一旅程充滿了挑戰與創新。本文將探索大
    的頭像 發表于 06-14 10:20 ?2124次閱讀
    大<b class='flag-5'>模型</b>應用之路:從提示詞到<b class='flag-5'>通用人工智能</b>(<b class='flag-5'>AGI</b>)

    報名開啟!深圳(國際)通用人工智能大會將啟幕,國內外大咖齊聚話AI

    8月28日至30日,2024深圳(國際)通用人工智能大會暨深圳(國際)通用人工智能產業博覽會將在深圳國際會展中心(寶安)舉辦。大會以“魅力AI·無限未來”為主題,致力于
    發表于 08-22 15:00

    【免費名額30個】手把手教你快速學習和應用人工智能技術

    和應用人工智能技術,分享關于深度學習、自動駕駛等新技術進展及產品演示。參加此次活動,您將了解 MathWorks 產品的最新技術進展,有機會與相關領域應用專家面對面溝通如何高效利用 MATLAB
    發表于 09-12 11:21

    解讀人工智能的未來

    交通路線等等。而目前讓人們感到恐慌的實際上是另一種人工智能,它叫做AGI人工通用智能,它是一種像人類一樣聰明靈活的
    發表于 11-14 10:43

    深度學習推理和計算-通用AI核心

    摘要與深度學習算法的進步超越硬件的進步,你如何確保算法明天是一個很好的適合現有的人工智能芯片下發展?,這些人工智能芯片大多是為今天的人工智能
    發表于 11-01 09:28

    通用人工智能啥時候能實現

    通用人工智能啥時候能實現
    發表于 12-17 06:19

    人工智能基本概念機器學習算法

    目錄人工智能基本概念機器學習算法1. 決策樹2. KNN3. KMEANS4. SVM5. 線性回歸深度學習算法1. BP2. GANs3. CNN4. LSTM應
    發表于 09-06 08:21

    介紹的是高性能MCU之人工智能物聯網應用開發相關知識

    借助這類高性能MCU實現板級機器學習、深度學習算法處理?! ”鞠盗形恼聲鹨唤榻B高性能MCU之人工智能
    發表于 12-16 06:20

    什么是人工智能、機器學習、深度學習和自然語言處理?

    領域,包括機器學習深度學習、數據挖掘、計算機視覺、自然語言處理和其他幾個學科。首先,人工智能涉及使計算
    發表于 03-22 11:19

    《移動終端人工智能技術與應用開發》+理論學習

    智能技術,總體上說,機器學習主要需要個階段,訓練、推理,其中由于訓練的模型需要較高的算力和計算性能
    發表于 02-27 23:28

    【書籍評測活動NO.16】 通用人工智能:初心與未來

    之后的達特茅斯研討會開始,用機器來模仿人類學習及其他方面的智能,即實現“人工智能”(Artificial Intelligence,AI)便成為計算機領域持續的研究熱點。時至今日,以
    發表于 06-21 14:41

    通用人工智能:初心與未來》-試讀報告

    作者給出的結論。整體讀下來,可以給我們關于通用人工智能全面的了解。作者也反復強調了通用人工智能與專用智能的區別。尤其是人們錯誤的認為一堆專用智能堆砌起來就是
    發表于 09-18 10:02

    什么是人類智能 楊學山淺談通用人工智能的發展途徑

    近日,在"第五屆中國行業互聯網大會"上,北京大學兼職教授、工信部原副部長楊學山發表了題為《走向通用人工智能》的演講。重點講述了通用人工智能AGI
    的頭像 發表于 09-02 10:20 ?2958次閱讀

    聆心智能上榜“北京通用人工智能模型行業應用典型場景案例”

    7月2日,作為 2023 全球數字經濟大會同期舉辦的六大高峰論壇之一,人工智能高峰論壇率先亮相。以“智能涌現·重塑未來”為主題,聚焦通用
    的頭像 發表于 07-05 09:54 ?630次閱讀
    聆心<b class='flag-5'>智能</b>上榜“<b class='flag-5'>北京</b>市<b class='flag-5'>通用人工智能</b>大<b class='flag-5'>模型</b>行業應用典型場景案例”

    軟通動力入選“北京通用人工智能產業創新伙伴計劃(第批)”

    人工智能領域的深厚積累和創新突破,榮獲"模型伙伴"稱號。 ? "北京通用人工智能產業創新伙伴計劃"由北京市經濟和信息化局、
    的頭像 發表于 07-04 04:57 ?401次閱讀
    軟通動力入選“<b class='flag-5'>北京</b>市<b class='flag-5'>通用人工智能</b>產業創新伙伴計劃(第<b class='flag-5'>三</b>批)”