牛津大學的一個團隊從巴甫洛夫的狗中汲取靈感,設計了一個基于光子學的神經網絡。
受 19 世紀初巴甫洛夫經典條件反射實驗的啟發,牛津大學的研究人員最近創造了一種片上光學處理器,它可能為人工智能 (AI) 和機器學習 (ML) 的前所未有的進步打開大門。
牛津聲稱其新系統提供了先進的數據集相似性檢測。與在電子處理器和傳統神經網絡上運行的傳統機器學習算法不同,Oxford 的系統在無反向傳播的光子網絡上運行,并利用了巴甫洛夫聯想學習。
在巴甫洛夫的狗身上尋找靈感
經典條件反射是關聯兩種感覺刺激以實現相同反應的過程。這個過程包括感覺和運動神經元。當感覺神經元接收到感覺信號時,運動神經元會產生感覺密集的動作。
Ivan Pavlov 在 1900 年代初發現了這個概念,他觀察到,當他通過教狗將鈴鐺的聲音與食物聯系起來時,他可以通過按鈴來誘導狗流涎。聯想學習過程將刺激s 2(即鈴聲)與自然刺激s 1(即食物的視覺或氣味)相關聯,以觸發狗的相同反應(即流涎)。
巴甫洛夫聯想學習。圖片由Optica和 Tan 等人提供
牛津大學的研究人員將這一概念應用于簡化的神經回路,具有兩個關鍵作用:1)收斂并關聯兩個輸入;2)存儲這些關聯的記憶以供以后參考。這項研究的核心是一種稱為聯想單子學習元素(AMLE)的東西。AMLE 包括一個設備,可以有效地執行經典條件反射的基本聯想學習過程,以推進 AI/ML。
關于聯想一元學習元素
AMLE 將相變材料薄膜與兩個耦合波導集成以實現聯想學習。該材料(Ge 2 Sb 2 Te 5 (GST))有效地調制波導之間的耦合。GST 以兩種狀態存在,非晶態或晶態,影響波導之間的耦合量。
在結晶狀態下,刺激s 1和s 2沒有顯示任何形式的關聯。然而,刺激(或輸入)在它們同時到達時開始關聯,從而導致非晶化 GST。GST 越多異形化,刺激s 1和s 2關聯的越多,導致幾乎無法區分的輸出,稱為學習閾值。AMLE 使用光子關聯學習來提供一個獨特的機器學習框架,以解決一般學習任務。
AMLE學習前后的電場分布。圖片由Optica和 Tan 等人提供
AMLE 消除了反向傳播,提高了計算速度
傳統的神經網絡密集型 AI 系統在學習過程中需要大量數據集,這導致處理和計算成本增加。這些傳統的神經網絡利用反向傳播來實現高精度的人工智能學習。
根據牛津大學的說法,AMLE 消除了反向傳播的需要,使用記憶材料來學習模式并關聯數據集中的相似特征。無反向傳播技術可加快 AI/ML 模型訓練。例如,雖然傳統的基于神經網絡的 AI 系統在使用多達 10,000 個兔子/非兔子圖像訓練其模型后識別兔子,但無反向傳播技術 (AMLE) 可以通過五個兔子/非兔子圖像對獲得類似的結果顯著降低處理和計算成本。
AMLE 還利用波分復用來提高計算速度。此功能允許 AMLE 在各種基于單通道的波長上發送多個光信號,從而消除反向傳播。AMLE 使用光來發送和接收數據,這一過程稱為并行信號處理,從而產生更高的信息密度和更快的模式識別速度。
AMLE 研究的合著者鄭教授表示,雖然這種新開發的設計不能完全替代傳統的神經網絡,但它可以補充它們。在大量和更簡單的數據集學習任務中,AMLE 設備顯著加快了光學處理速度。
在光子平臺上構建 AMLE
牛津大學的研究人員在光子平臺上實施了 AMLE。使用該平臺,該團隊展示了無反向傳播的單層權重人工神經網絡架構的可行性和有效性。
研究人員觀察到,如果輸入以已經建立的光學延遲同時應用,則關聯兩個不同的輸入可以產生相似的輸出。這些輸入之間的關聯可以允許關聯多個數據流,包括單個元素上的各種波長——特別是在沒有光信號干擾的情況下。
根據牛津大學的說法,這項研究可能會為下一代機器學習算法和架構創新設定優先級。
審核編輯 黃昊宇
-
神經網絡
+關注
關注
42文章
4765瀏覽量
100568 -
AI
+關注
關注
87文章
30239瀏覽量
268483
發布評論請先 登錄
相關推薦
評論