隨著數學優化和計算硬件的迅猛發展，深度神經網絡（Deep Neural Networks, DNN）（名詞解釋>）已然成為解決各領域中許多挑戰性問題的強大工具，包括決策、計算成像、全息技術等。

自1947年發展至今，全息（holography）（名詞解釋>）已成為一項重要而廣泛的技術，在光學工程的各個領域都有應用，包括光學成像、顯微、計量、三維（3D）顯示等。全息意為包含光波的全部信息（名詞解釋>），在物理上分為兩個過程：波前的記錄與重建，這兩個過程都可以通過光學或數字的方法來實現。

目前，全息術和深度學習這兩個不同的領域已經相互融合，形成了一個新興的跨學科領域——深度全息。 近期，來自中國科學院上海光學精密機械研究所的司徒國海研究員以Deep holography為題在Light: Advanced Manufacturing發表一篇綜述文章，對深度全息的進展進行了全面的文獻回顧，論述了全息(holography)和深度神經網絡(DNN)之間的相互促進關系。

DNN 已被證明在全息重建和計算機生成全息（computer-generated Holography, CGH）中的各個方面幾乎都有應用；

全息具有互連和光速并行處理的能力，是 DNN 光學實現，即光神經網絡（optical neural networks, ONN）（名詞解釋>）的有力工具之一。

文中首先簡要介紹了DNN的基本理論和架構，然后討論了深度全息術的一些重要進展與研究趨勢，最后對其未來前景進行了展望。希望此篇綜述能夠促進此領域的進一步發展。

深度神經網絡：簡明介紹

DNN 的概念架構如 圖1 所示，前饋神經網絡，或稱多層感知器（MLP）有一個輸入層，一個輸出層，以及一個或多個隱藏層。每層可以有不同數量的神經元，稱為感知器；而每個單元從上一層接收其輸入的加權和（除了第一層，其輸入是待 NN 處理的原圖）。前饋神經網絡的目標是優化一個 NN 模型以逼近一個連續函數，利用原始數據通過訓練學習到網絡參數，即可實現從輸入空間 x 到輸出空間 y 的映射。

圖1. DNN的概念架構 圖源：Light: Advanced Manufacturing 相比于傳統的基于物理學的全息技術，DNN 方法已被證明擁有獨特的優勢。只要有足夠多的數據，DNN 就可以從較低層次特征組成的較高層次結構中學習特征，但它不能明確表述系統的確切物理性，導致方法的泛化性和可解釋性受到很大的挑戰。

因此，我們非常希望能同時發揮 DNN 和物理模型的優勢，開發出基于物理學信息的DNN（Physics-informed DNN）。

物理融合（physical fusion），或單次物理的 DNN 它直接將物理模型的解作為 DNN 模型輸入的（一部分）。

殘差物理（residual physics），或遞歸物理信息 DNN 將物理解決方法添加到 DNN 的輸出中，這樣 DNN 模型只需要學習基于模型的解決方法和真實情況之間的不匹配。

正則化物理（physical regularization），或級聯物理信息 DNN 利用一組物理約束條件中的正則化項來懲罰網絡解決方法。正則化項可以作為損失函數的一部分或通過物理重建過程。

嵌入物理（embeddedphysics）DNN

如 圖2 所示，其中心思想是將物理模型納入網絡優化循環中。

圖2. 嵌入物理的DNN的典型架構 圖源：Light: Advanced Manufacturing

網絡近似物理學

顧名思義，就是通過使用 DNN 來近似物理模型。

全息重建

全息圖可以看作是物光和參考光束的疊加。全息重建的直觀方法是基于衍射的物理模型，即波衍射過程的數值計算。離軸全息可以通過空間濾波解決，但空間濾波會帶來高頻成分的損失，這大大阻礙了重建的圖像質量。而對于同軸全息，零階的去除相對簡單，因此對同軸全息重建的研究大多是處理孿生項。 物理上，孿生圖像實際上是重建的物體圖像的失焦副本，它可以通過減去失焦圖像來消除。目前，應用最廣泛的策略是調整光學系統的一些物理參數并獲得相應的全息圖，以便建立一個小型的線性方程組，將所記錄的全息圖與調諧參數聯系起來，進而求解得到物體波前。 數學上，孿生圖像偽影的產生是由于當全息圖被記錄下來時，相位的缺失導致了這一現象。這表明，如果全息圖的缺失相位能夠得到解決，那么雙孿生圖像偽影就可以得到解決。

受DNN啟發的全息術

1）最直接的方法：“端到端” DNN

利用 ResNet 和 U-Net 開發出的 eHoloNet：接收原始的數字全息圖作為輸入，并產生無偽影的相位物體波前；

Y型網絡架構：從單個數字全息圖中同時重建強度和相位；

也可通過生成對抗網絡（GAN）實現，訓練數據不需要配對。

2）物理融合，或單次物理的 DNN

利用傳統的數值自由空間傳播回目標平面，再將重建波前的振幅和相位分別發送到DNN中，通過訓練去除所有這些偽影。

3）物理嵌入的 DNN

如 圖3 所示，將物理成像模型納入傳統 DNN，該策略有兩個明顯優勢：首先，它不需要任何數據來進行預訓練；其次，重建后的圖像滿足由物理模型所施加的約束，它是可解釋的。 PhysenNet 中的 DNN 模型可以由其他神經網絡取代，這取決于手頭的任務。例如，已有研究人員成功將相位成像模型納入 GAN 網絡。

圖3. 納入物理模型的DNN示意圖：相位成像 圖源：Light: Science & Applications, 9:77(2020). 此外，DNN 方法也可用于解決其他與全息有關的各種問題，例如相位解包裹、自動對焦、相位畸變補償、散斑抑制、計算機生成全息（CGH）。

受全息技術啟發的DNN

全息技術是實現光學神經網絡（ONN）的重要途徑之一。 早期的研究包括全連接神經網絡的光學實現和 Hopfield 模型，它是循環神經網絡（RNN）的基礎。全息神經網絡不是像數字神經網絡那樣使用邏輯神經元，它依靠的是全息圖本身所具有的互連。在完全連接的全息神經網絡中，權重被存儲在全息圖的像素（神經元）中。一層（全息圖）中的每個神經元對從上游層照射到它身上的光進行簡單的調制，然后照亮下游的層。全息神經網絡可以通過光折光晶體實現，它本身就是個三維設備，有可能存儲數十億的權重數據。因此，它在原則上有希望解決大規模的逆向問題。

圖4. 衍射深度神經網絡示意圖 （A）D2NN 包含多個透射（或反射）層，其中，層上的每個點都充當神經元，具有復值的透射（或反射）系數，每層的透射或反射系數可以使用深度學習來訓練，從而在網絡的輸入和輸出平面之間執行一個功能。在學習階段之后，D2NN 的設計是固定的；一旦它被制造或 3D 打印出來，它就能以光速執行所學的功能。不同類型的衍射深度神經網絡：（B）分類和（C）成像。 圖源：Science,361(2018) 全息神經網絡的現代實現方式利用了衍射的優勢，并因此被命名為衍射深度神經網絡（D2NN），如 圖4 所示。在硬件實現中，D2NN 中的全息圖實際上是衍射光學元件（DOE），它可以通過 3D 打印、納米技術、或電動可尋址數字微鏡設備（DMD）得到。與許多其他的光學神經網絡一樣，最初的 D2NN 是離線訓練的。為了實施更好的訓練策略，研究人員已經做出了許多努力，例如通過從歐氏空間到黎曼空間的梯度轉換來更新單元權重的反向傳播技術、實現光學分組的方法等。人們還研究了 D2NN 在邏輯運算、光學信息處理、全息重建、脈沖整形、光譜編碼的單像素機器視覺等方面的應用。

總結與展望

全息與神經計算之間的相互融合大大推動了彼此的發展，也給我們提供了可以探索的奇妙領域。

對于受 DNN 啟發的全息術來說，文中討論了納入物理信息的五種不同方式，并展示了它們在解決與全息有關的各種問題的應用。

除了嘗試不同的 DNN 架構，一個重要的趨勢是將物理模型納入 DNN 模型。這個想法已經得到了不同領域的研究人員的密切關注。

嵌入物理模型的 PhysenNet 優勢明顯，但其優化速度較慢，對輕量級的網絡結構和更有效的訓練算法提出了要求。

綜合利用物理先驗和傳統數據驅動方法的優勢，使得訓練可以更有效，提高泛化性，增加可解釋性。

對于全息技術啟發的 DNN，大多數研究迄今發表的大部分研究都集中在光學推理方面。全息神經網絡的光速并行處理能力確實保證了強大的推理能力，甚至超過了 Nvidia 的頂級產品 Tesla V100 張量核心 GPU 在某些任務中的表現。

為了讓光學的優勢可以得到充分發揮，需要以光學方式對網絡進行在線訓練，有許多可能性來有效實現 DNN 中的大多數基本功能。

依靠新型光學材料和設備的發展，可以在亞波長尺度對波進行高速調制，提高D2NN 的性能。

神經計算的快速發展，為我們提供了更多強大的算法，比如尖峰神經突觸網網絡(SNN)，可以模擬大腦的行為和學習潛力。這些新算法在全息技術中的適用性和潛力以待挖掘。

原文標題：深度全息：全息與深度神經網絡的相遇

文章出處：【微信公眾號：中科院半導體所】歡迎添加關注！文章轉載請注明出處。

審核編輯：湯梓紅