人工神經網絡（Artificial Neural Network，ANN）是一種模仿生物神經網絡結構和功能的數學模型或計算模型，在給定條件下能近似地逼近任意復雜的函數或分布。近年來，隨著深度學習，即深度神經網絡的迅速發展，神經網絡模型在自然語言處理、語音識別、計算機視覺等眾多領域獲得突破性進展，取得了令人矚目的成果。

然而隨著深度學習技術在多個領域的大量應用，其背后隱藏的安全問題也隨之而來。特別是在醫學診斷、網絡安全、自動駕駛等對安全性有較高要求的領域，深度神經網絡所隱藏的安全風險限制了其自身在更多領域的應用和推廣，引起了政府、學術界及工業界的關注。基于深度神經網絡的人工智能系統主要面臨結果不可驗證和過程不可審查兩大安全問題。結果不可驗證指的是基于深度神經網絡的人工智能系統輸出結果無法被判斷、預測，智能系統行為邊界難以掌握，導致系統不可控，本質上是深度神經網絡結果不可判讀。過程不可審查指的是系統決策背后的邏輯不明，代碼實現缺乏可信度，本質上是深度神經網絡的實現機理與決策邏輯難以理解。

實際上，人工智能系統所面臨的兩大安全問題的根源在于深度神經網絡的不可解釋性。深度神經網絡可解釋性定義為可判讀（interpretability）和可理解（explainability）兩方面的內容。可判讀性，即深度神經網絡輸出可判讀，結果可預測，能有效建立起輸入空間與輸出空間的映射關系，有利于人們掌握系統的行為邊界，從而避免基于深度神經網絡的人工智能系統所面臨的不可驗證問題。可理解性，即深度神經網絡內部工作原理透明，各模塊作用意義可見，能對模型輸出結果做出解釋，揭示其背后的決策邏輯，并能有效地分析模型內部的邏輯漏洞和數據死角，解決基于深度神經網絡的人工智能系統所面臨的不可審查問題。因此，隨著基于深度神經網絡的人工智能系統的廣泛應用，亟須對神經網絡的可解釋性進行研究并構造可解釋的神經網絡，從而提高人工智能系統的安全性，保障人工智能應用在各大領域能安全有效地運行。

針對上述人工智能系統中的安全問題，國際標準化組織/國際電工委員會（ISO/IEC）成立了人工智能可信研究組，開展人工智能安全標準化的研究。其主要工作為：通過研究人工智能可驗證性、可解釋性、可控性等調查建立可信人工智能系統的方法。目的是通過增強深度學習的可理解性來建立可靠、可信的深度學習系統，主要解決其面臨的過程不可審查的安全問題。目前，神經網絡可解釋性的研究大多基于數據可視化和代理模型等技術，即在深度神經網絡模型構建前后，對輸入、輸出進行可視化，并依此對神經網絡層進行解釋。這是對深度神經網絡模型可判讀性的研究，其本質上僅涉及到深度學習智能系統安全中的不可驗證問題。換言之，這些工作難以解決其所面臨的不可審查問題。因此，亟待研究一個能同時提高深度神經網絡可判讀性和可理解性，進而解決基于深度神經網絡的人工智能系統中結果不可驗證和過程不審查兩大問題的方法。

可微編程（Differentiable Programming）作為一種新型的研究方法，受到了學術界的關注。可微編程最早由ACM圖靈獎得主雅恩·樂昆（Yann LeCun）教授提出，其核心思想是將神經網絡當成一種語言，從而描述客觀世界的概念以及概念相互之間的關系。這與現代科學將數學視作一門科學語言從而描述客觀世界的思想是一脈相通的。目前可微編程主要集中在將現有的機器學習的方法轉化成等價的神經網絡，使得模型同時具有傳統統計機器學習方法的可解釋性強以及深度神經網絡性能較優等優點，極大地提高了深度神經網絡的可判讀性和可理解性。與現有的神經網絡可解釋性研究方法不同的是，基于可微編程的神經網絡可解釋性研究，旨在直接構建一個可解釋的神經網絡模型，而非對已有的深度神經網絡模型進行解釋。后者往往是通過一個新的模型來解釋現有的不可解釋的“黑箱”神經網絡，而這樣的可解釋性研究通常是不可靠的，甚至會造成誤導。前者則通過直接構建一個繼承自統計機器學習或現實物理模型的可解釋的深度神經網絡模型，提供一個可靠的、透明的、可信的人工智能系統。

綜上，神經網絡的可解釋性不同于可解釋的神經網絡。前者一般針對已有的神經網絡結構、行為、決策等進行解釋，而后者則著重直接構建可解釋的神經網絡模型，其結構、工作原理、決策行為及輸出結果本就能為人理解。但是目前大多相關研究僅局限于神經網絡的可解釋性而非可解釋的神經網絡。正如魯丁（Rudin）教授2019年在《自然-機器智能》（Nature Machine Intelligence）上發表的論文所言：人們亟須對可解釋的深度神經網絡進行研究，而不應局限于研究神經網絡的可解釋性。