神經網絡無需學習就能駕駛虛擬賽車。
動物生下來就具有天生的能力和稟性。馬生下來幾小時后就會走,鴨子孵出來后很快就會游,人類嬰兒自然而然會被人臉吸引。大腦進化到了即使幾乎沒有經驗也敢于面對世界的地步,許多研究人員希望AI也有這種天生的能力。
新研究發現,人工神經網絡可以進化到無需學習即可執行任務的程度。該技術有望帶來這樣的AI:極其擅長處理各種任務,比如為照片添加標簽或駕駛汽車。
人工神經網絡對彼此之間傳輸信息的小型計算單元(“神經元”)進行了排列。這種網絡常常通過調整神經元之間連接的“權重”或強度來學習諸多任務,比如玩游戲或識別圖像。一種名為神經網絡架構搜索(neural architecture search)的技術試過眾多網絡形狀和大小,以找到針對某特定用途提高學習能力的那種網絡形狀和大小。
新方法使用同樣這種搜索技術來查找權重并不重要的網絡。對于這種網絡而言,網絡的整體形狀決定了它的智能,可能使其特別適合某些任務。
供職于谷歌Brain的論文主要作者、計算機科學家Adam Gaier說:“如果動物有所有這些天生的行為,一些神經網絡在未經大量訓練的情況下就有出色的表現,我們想知道我們能將這個想法運用到多先進的程度。”
整個過程始于一組很簡單的網絡,這些網絡將輸入(比如來自機器人傳感器的數據)與行為輸出連接起來。它評估網絡處理特定任務時的性能,保持網絡處于最佳性能狀態,并通過添加神經元、添加連接或改變神經元對輸入總和的敏感度使網絡發生突變。在評估階段,為網絡的所有權重賦予一個共享的隨機數。(這實際上針對幾個隨機數來完成,然后對結果求平均值。)
結果名為與權重無關的神經網絡(WANN)。這種網絡因處理任務時表現出色和很簡單而獲得加分。處理該研究論文中那些任務的典型網絡可能有數千個神經元和權重,而WANN只有少量的神經元和僅僅一個權重。
但令人驚訝的是,WANN仍表現不俗。研究團隊將它們與標準網絡架構進行了比較,標準網絡架構的權重經過逐漸完善,可以熟練完成這三項模擬任務:駕駛賽車、使兩足機器人行走以及控制雙輪推車以平衡支桿。
兩條腿旁邊是神經網絡及眾多連接的示意圖。盡管沒有取得高分,但前一代網絡中的極簡架構仍能控制此處所示的向前行走的Bipedal Walker兩足機器人。
與經過訓練的網絡相比,WANN得到的分數只有其分數的六分之一到一半。研究人員賦予表現最佳的權重而不是隨機權重后,與經過訓練的網絡相比,WANN得到的分數提高到三分之二到五分之四。如果在進化后,以訓練龐大標準網絡的同一方式來訓練WANN,其性能與標準網絡相媲美。
在涉及識別手寫數字的任務中,WANN的準確率超過90%(而針對這項任務訓練的龐大網絡的準確率為99%)。該研究論文上個月在加拿大溫哥華的神經信息處理系統(NeurIPS)大會上公布。
優步AI實驗室(Uber AI Labs)的計算機科學家Rosanne Liu沒有參與這項研究,他說:“他們的整個系統切實可行,這非常了不起。”其他研究人員嘗試開發不依賴權重的網絡,但以失敗告終。Gaier稱,這個突破最初是為所有權重賦予同一數字的bug,卻不料最終簡化了網絡搜索。
雖然WANN的性能未能超過經過訓練的大型網絡,但該方法為尋找專門適合不同任務的網絡架構開辟了一條新途徑,正如大腦各部位以不同的方式相連以適合特定的用途。比如說,卷積神經網絡的特點是擁有適合圖像識別的架構,可以映射大腦視覺皮層的結構。Gaier認為,可能還有多得多的構建模塊,準備使AI一問世就很聰明。
-
神經網絡
+關注
關注
42文章
4762瀏覽量
100535 -
圖像識別
+關注
關注
9文章
519瀏覽量
38235 -
卷積神經網絡
+關注
關注
4文章
366瀏覽量
11850
發布評論請先 登錄
相關推薦
評論