AI專業人員一直在追求一種AI,它肯定會降低做普通AI事情所需的能量,例如感知單詞和圖片。這種機器學習的模擬類型利用電路的物理原理而不是數字原理來完成神經網絡的一項重要數學任務。但是,限制該方法的主要因素之一是深度學習的訓練算法(反向傳播)必須由GPU或其他單獨的數字框架來完成。
神經形態芯片初創公司Rain Neuromorphics與加拿大研究院Mila之間的研究合作表明,可以想象使用完全模擬的硬件來訓練神經網絡,這為端到端的模擬神經網絡提供了機會。這對神經形態處理和AI硬件整體具有重大影響-它保證了完全可用于訓練和推理的模擬AI芯片,從而顯著節省了計算,功耗,等待時間和大小。這項進步將工程學和深度學習的紐帶聯系在一起,為AI動力機器人打開了入口之門,這種機器人可以在現場獨自學習,就像人類一樣。
在由“人工智能的教父”之一,獲獎者Yoshua Bengio共同創建的題為“具有均衡傳播的端到端模擬神經網絡訓練”的論文中,分析家們表明,可以訓練神經網絡來利用交叉開關憶阻器的展示,就像在當今使用內存中處理器方法的商業AI加速器芯片中使用的安排一樣,卻沒有在網絡的每一層之間使用相關的ADC和DAC。結果為潛力更大的高能效AI硬件提供了潛力
Rain Neuromorphics首席執行官戈登·威爾遜(Gordon Wilson)表示:“如今,能源利用和成本是最大的制約因素,使我們無法交付新型人工智能。我們確實需要找到一種無可否認地更有效的計算基礎,一種本質上可以提高能源效率的基礎,一種允許我們不將培訓局限于大型數據中心的基礎,但除此之外,我們還可以進入一個可以設想免費,自主的世界,能源無限的設備,獨自學習。同樣,這是我們認為這一新進展正在打開通向的大門。”
分析人員已經對MNIST分類(改良的美國國家標準與技術研究院手寫數字數據庫)的端到端模擬神經網絡進行了模擬訓練,其性能與相同大小的基于軟件的神經網絡相似或更好。
模擬電路可以在某種程度上節省神經網絡的功率,因為??它們可以熟練地進行稱為乘法和累加的關鍵計算。該估計值會根據不同的負載乘以貢獻值,然后匯總這些值中的每一個。電氣工程的兩個基本定律也可以從根本上做到這一點。歐姆定律將電壓和電導相乘以提供電流,基爾霍夫的“電流定律”將輸入點的電流相加。通過將神經網絡的權重存儲在電阻式存儲小部件(例如憶阻器)中,乘法和累加可以完全以模擬方式發生,可以將功耗降低幾個數量級。
如今,模擬AI系統無法訓練自己的原因與零件的可變性息息相關。與真實神經元非常相似,模擬神經網絡中的神經元并非完全無法區分。要對模擬段進行反向傳播,您應該制造兩條單獨的電路路徑。一個人繼續思考一個答案(稱為推理),另一個人反過來進行學習,因此適當的回答變得更加準確。但是由于模擬成分的可變性,這些途徑無法協調。
平衡傳播(EqProp),由Bengio和Scellier在2017年設計的一種方法。這種訓練算法只有一條數據路徑,因此可以避免模擬硬件中的反向傳播問題。但是有一個警告。EqProp僅適用于基于能源的網絡。
結果是,盡管EqProp自2017年以來就已經存在,但這項新工作已將抽象思想轉變為可以通過電路物理識別的事物。這將使端到端的模擬計算成為可能,而無需在每個步驟都切換到數字域或從數字域切換。
-
芯片
+關注
關注
454文章
50444瀏覽量
421934 -
機器學習
+關注
關注
66文章
8381瀏覽量
132428 -
深度學習
+關注
關注
73文章
5493瀏覽量
120989
發布評論請先 登錄
相關推薦
評論