深度學習算法近年來取得了長足的進展，也給整個人工智能領域送上了風口。但深度學習系統中分類器和特征模塊都是自學習的，神經網絡的可解釋性成為困擾研究者的一個問題，人們常常將其稱為黑箱。但理解深度神經網絡的工作原理，對于解釋其決策方式，并建立更強大的系統至關重要。

近日，DeepMind 發布了其關于神經網絡可解釋性的最新研究成果，他們通過刪除網絡中的某些神經元組，從而判定其對于整個網絡是否重要。核心發現有如下兩點：

可解釋的神經元（例如“貓神經元”）并不比難以解釋的神經元更重要。

泛化性良好的網絡對于刪除神經元的操作更具適應性。

深度神經網絡由許多獨立的神經元組成，這些神經元以復雜且反直覺的方式結合起來，進而解決各種具有挑戰性的任務。這種復雜性賦予了神經網絡強大的功能，但也使其成為一個令人困惑且不透明的黑箱。

理解深度神經網絡的工作原理，對于解釋其決策、建立更強大的系統至關重要。想象一下，在不了解各個齒輪如何裝配的情況下，制造一塊鐘表的難度會有多大。在神經科學和深度學習領域中，理解神經網絡的一種方法是研究單個神經元的作用，特別是那些容易解釋的神經元。

我們即將在第六屆國際學習表征會議（ICLR）上發表關于單一方向泛化重要性的研究，它采用了一種受實驗神經科學啟發的方法——探索損傷的影響——來確定深層神經網絡中的小組神經元的重要性，以及更容易解釋的神經元的重要性是否更高。

通過刪除單個神經元和神經元組，我們測量了破壞網絡對性能的影響。在實驗中，我們有兩個驚人的發現：

之前的許多研究都試圖去理解容易解釋的個體神經元（例如“貓神經元”，或者說深層網絡中只有對貓的圖像有反應的神經元），但是我們發現這些可解釋的神經元并不比難以解釋的神經元更重要。

與只能對已經見過的圖像進行分類的網絡相比，對未見過的圖像也能正確分類的網絡對神經元缺失有著更好的彈性。換句話說，泛化性良好的網絡比泛化性差的網絡對單方向的依賴性要小很多。

▌“貓神經元”或許更容易解釋，但是它們的重要性并不會更高

在神經科學和深度學習中，容易解釋的神經元（“選擇性”神經元）已經被廣泛分析，它們只對單一輸入類別的圖像（例如狗）有積極回應。在深度學習中，這導致了研究者對貓神經元（cat neurons）、情感神經元（sentiment neurons）和括號神經元（parentheses neurons）的重視。然而，與大多數具有低選擇性、更令人費解、難以解釋的活性的神經元相比，這些為數不多的具有高選擇性神經元的相對重要性仍然未知。

與那些對看似隨機的圖像集作出積極或消極回應的令人困惑的神經元相比，具有清晰回應模式（比如只對“狗”積極回應，對其他一切類別消極回應）的神經元更容易解釋。

為了評估神經元的重要性，我們測量了刪除神經元后，神經網絡在圖像分類任務中的性能變化。如果一個神經元是非常重要的，刪除它應該會產生嚴重的后果，而且網絡性能會大大降低，而刪除一個不重要的神經元應該沒有什么影響。神經科學家通常進行類似的實驗，盡管他們不能達到這些實驗所必需的細粒度精度，但是在人工神經網絡中則很容易實現。

刪除神經元對簡單神經網絡影響的概念圖。顏色越深，代表神經元越活躍。你可以在原網頁上嘗試單擊隱藏層神經元刪除它們，并查看輸出神經元的活動變化。請注意，僅刪除一個或兩個神經元對輸出的影響很小，而刪除大多數神經元的影響很大，并且某些神經元比其他神經元更重要！

令人驚訝的是，我們發現選擇性和重要性之間沒有什么關系。換句話說，“貓神經元”并不比令人困惑的神經元更重要。這一發現與神經科學最近的研究成果相呼應，后者已經證明，令人困惑的的神經元實際上可以提供相當多的信息。為了理解深度神經網絡，我們的研究不能只局限于最容易解釋的神經元。

雖然“貓神經元”可能更容易記解釋，但它們并不比令人困惑且沒有明顯偏好的神經元更加重要。

▌泛化能力更強的網絡更不容易崩潰

雖然我們希望創建智能系統，但是只有當這個系統能夠泛化到新的場景時，我們才能稱之為智能系統。例如，如果一個圖像分類網絡只能對它見過的特定的狗的圖像進行分類，卻認不出同一只狗的最新圖像時，這個網絡就是無用的。這些系統只有在對新的實例進行智能分類時，才算是有作用的。

伯克利、Google Brain、DeepMind 最近合作發表的一篇論文在 ICLR 2017 上獲得了最佳論文。該論文表明，深度網絡可以簡單地記住每一幅圖像，而不是以更人性化的方式學習（例如，理解“狗”的抽象概念）。

然而，關于神經網絡是否學習到了決定泛化能力的解，我們一直沒有明確的答案。通過逐步刪除越來越大的神經元群，我們發現，相比簡單地記憶先前在訓練中看到的圖像的網絡，泛化良好的網絡對刪除神經元的魯棒性強得多。換句話說，泛化能力更強的網絡更不容易崩潰（盡管這種情況可能發生）。

隨著越來越多的神經元群被刪除，泛化良好的網絡的性能下降速度明顯更慢。

通過這種方式測量神經網絡的魯棒性，我們可以評估這個網絡是否在利用我們不希望的記憶能力在“作弊”。理解網絡在記憶時如何是變化的，將有助于我們建立泛化能力更好的新網絡。

▌受神經科學啟發的分析方法

這些發現證明了，使用實驗神經科學啟發的技術可以幫助我們理解神經網絡的能力。使用這些方法，我們發現高選擇性的獨立神經元并不比非選擇性神經元更重要，并且泛化良好的網絡比簡單地記憶訓練數據的網絡對獨立神經元的依賴性更小。這些結果暗示，獨立神經元的重要性可能遠不如我們認為的那么重要。

通過解釋所有神經元的作用，而不僅僅是那些容易理解的神經元，我們希望更好地理解神經網絡的內部工作原理，并且利用這種理解來構建更智能和更通用的系統。