摘要：眾所周知，強化學習的工作原理就是最大化策略預期回報。當智能體能輕而易舉地從環境中收集到密集回報時，算法很好用，效果也很好；但當環境中的回報非常稀疏時，模型往往會訓練失敗。再加上我們不可能為每個任務設計密集回報函數，在這些情況下，讓智能體以有針對性的方式探索環境是必要的。近日，OpenAI提出了一種回報設置方法RND，在雅達利游戲《蒙特祖瑪的復仇》里獲得了state-of-art的表現.

為什么是《蒙特祖瑪的復仇》？

強化學習是機器學習的一個子領域，它強調讓“智能體”學會如何基于環境而行動，以取得最大化的預期回報。為了模擬現實，游戲是現在訓練強化學習智能體的常用環境，因為它不僅能提供可交互的環境、直接的獎勵信號和游戲目標，還能模擬包括物理、社交等在內的現實場景。因此強化學習成果大多都以“XXX在XX游戲中達到了超人水平”結尾。

2013年，DeepMind提出DQN算法，被譽為強化學習的“開山鼻祖”。在那篇論文中，算法成功玩轉多款雅達利游戲，表現超出人類玩家平均水平。但其中有一個例外，就是《蒙特祖瑪的復仇》，這是唯一一款人類玩家平均得分4700，而DQN望塵莫及的游戲。

從那之后，《蒙特祖瑪的復仇》就成了強化學習算法的試金石，也被人視為探索進步的代名詞。

上圖是近幾年來使用不同算法的智能體在《蒙特祖瑪的復仇》中的得分，粉色虛線為人類平均得分。可以看到，在2016年，通過結合DQN和基于計數的探索回報，學界在這個游戲上取得了重大突破：智能體成功探索了15個房間，最高得分高達6600，平均得分也達到了3700。從那時起，研究人員們提出了不少高分算法，但它們的性能提升主要依賴人為示范，或是參考其他演示機器人。

顯然，這并不完全是人類的學習方式。人類探索世界有時是無目的的，有時是模仿他人，但更多時候是出于好奇心。既然手動為環境設置密集回報不現實，那么智能體能不能不依賴人，自發地去進行不可預測的探索呢？

用好奇心驅動學習

在開發RND之前，OpenAI的研究人員和加州大學伯克利分校的學者進行了合作，他們測試了在沒有環境特定回報的情況下，智能體的學習情況。因為從理論上來說，好奇心提供了一種更簡單的方法來教授智能體如何與各種環境進行交互，它不需要人為的回報設計。

根據當時的論文，他們在包括Atari游戲在內的54個標準基準測試環境中進行了大規模實驗，實驗結果出人意料：在某些環境中，智能體實現了游戲目標，即使游戲目標并沒有通過外在回報傳達給它，而且內在好奇心驅動的智能體和手動設置外在獎勵的表現高度一致。

下面是當時的一些實驗案例：

Pong（乒乓球）：研究人員訓練了一個能同時控制兩個球拍的智能體，經過訓練，它學會了讓球在球拍之間保持長時間反彈。之后，這個智能體被放進對抗游戲中和另一個AI比賽，它雖然沒有輸贏意識，只是想拉長比賽時間，但表現非常好。

Bowling（保齡球）：比起有最大化外在獎勵目標的智能體，好奇心智能體在這個游戲中的表現更好，對此，一個推測是當玩家擊倒最后一個球瓶時，游戲得分會閃爍一下，這干擾了智能體的預測。

Mario：在這個游戲里，研究人員設置的內在回報是通關，每到一個新房間，智能體就會獲得獎勵，因為新房間的詳細信息是無法預測的。在這種簡單設置下，智能體連通11關，找到了秘密房間，甚至還擊殺了boss。

在常規強化學習設置中，對于每個離散的時間步，智能體會先向環境發送一個action，然后由環境返回下一個observation、當前action得到的回報和結束指示。為了讓智能體探索未知領域，OpenAI要求環境只返回observation，不再提供回報信息，這就使智能體只能從自己的經驗中學習怎么預測下一步的環境狀態，并用預測誤差作為內在獎勵。

這就是“好奇心”的實現方式。舉個簡單的例子，同樣一個智能體，如果使用常規設置，它就只會關注游戲得分，只要分數能上升，它就學著去做；而如果用的是好奇心，它就會積極地和新對象佳偶，并發現其中有益的東西。比起預測其他環境因素，這種對象間的互動更難預測。

Noisy-TV問題

就像做作業的小學生容易被窗外飛過的花蝴蝶所吸引，好奇心也給智能體帶來了“注意力不夠集中”的問題——Noisy-TV。下面是一個例子：同一個智能體穿行在兩個不同的迷宮中，其中一個是正常的迷宮，另一個是有一面“電視墻”、上面正在播放視頻的迷宮：

正常迷宮

“電視墻”迷宮

在正常迷宮中，智能體一直在保持前進，而在“電視墻”迷宮中，智能體一看到視頻就“走不動路”了。對于像《蒙特祖瑪的復仇》這樣的大型復雜環境，這是好奇心智能體需要注意的一個重要問題。而對此，OpenAI提出了一種解決方法，就是讓智能體通過噪聲控制器控制環境，該控制器有一定概率讓智能體重復之前的最后一個動作，防止從舊房間到新房間的過渡變得不可預測。

集大成者：RND

從本質上看，Noisy-TV問題就是好奇心智能體對下一狀態的預測會固有的受當前環境噪聲影響，之前提到了，好奇心智能體的內在回報是預測誤差，誤差越小，回報越大。我們先來看看導致預測誤差過大的幾個因素：

因素1：當預測模型無法把之前的經驗推廣到當前時，預測誤差會很高——當前學到的經驗是新的。

因素2：如果預測目標是隨機的，預測誤差也會很高。

因素3：如果缺少預測所需的信息，或者目標函數太復雜而預測種類太受限，預測誤差也會很高。

在這三個中，因素1對智能體是有用的，因為它量化了經驗的新穎性。而因素2和3是導致Noisy-TV問題的元兇，為了避免這兩種情況，OpenAI提出了一種新的exploration回報RND：給定下一環境狀態，它能預測這個固定的、隨機初始化的神經網絡（預測模型）的輸出，如下圖所示。

這背后的思路是預測模型在類似訓練過的狀態中誤差較低。對于從沒見過的環境狀態，智能體對神經網絡的輸出預測會更不準確（因素1），這促進了探索。合成預測設計確保了預測目標的確定性和類別的適配，能有效防止Noisy-TV問題。

連接exploration回報和外部回報的OpenAI之前提出的近端策略優化（PPO）的變體，具體這里我們不再展開。下圖是智能體在玩《蒙特祖瑪的復仇》時獲得的內在回報的可視化：

未來發展

最后，研究人員表示對于設計性能更好的算法來說，Noisy-TV問題的易感性等重要因素還是非常重要。他們發現簡單算法中看似很小的細節，可能直接影響著智能體是不能走出第一個房間還是通過第一關。為了增加訓練穩定性，他們避免了特征的飽和，并將內在獎勵帶到了可預測的范圍。每次發現并修復錯誤，RND的性能都會有顯著提高。

他們建議未來研究人員可以在這幾方面繼續探索：

分析不同探索方法的好處，并找到結合它們的新方法。

在沒有回報的情況下，在多種不同環境中訓練好奇心智能體，使他們朝著目標靠近。

測試好奇心智能體的“大局觀”意識和長遠視角。