三維成像技術能夠獲取和記錄完整的場景幾何信息，在場景三維重構、高精度定位、工業檢測等領域應用廣泛。ToF（Time-of-Flight，飛行時間）相機與其他三維成像技術相比，具有體積小、成本低、實時深度成像等優勢，其利用主動深度成像技術，基于光在相機和目標之間的飛行時間測量場景的深度信息，廣泛應用于機器視覺、人機交互、工業自動化、自動駕駛、目標識別等領域。

然而，ToF相機在霧天、水下、生物組織等散射場景中成像時，傳感器接收的返回信號是目標反射光和散射光的混合信號，深度測量誤差較大，這限制了ToF相機在水下形貌勘測、霧天自動駕駛、生物醫學等領域中的應用，因此如何提高ToF相機在散射場景中的成像質量引起了國內外學者的關注。

據麥姆斯咨詢報道，近期，北京理工大學光電成像技術與系統教育部重點實驗室科研團隊在《紅外與激光工程》期刊上發表了以“Time-of-Flight透散射介質成像技術綜述”為主題的文章。該文章第一作者為王霞副教授，主要從事光電成像技術和光電檢測技術方面的研究。

文中首先介紹ToF相機的基本結構及成像原理，分別介紹散射場景中ToF穩態成像和瞬態成像過程、透散射介質成像的理論和相關研究，之后介紹ToF透散射介質成像的應用前景，最后結合國內外研究現狀，對未來ToF相機透散射介質成像研究的發展趨勢進行預測和展望。

ToF成像基本原理

ToF相機依據是否直接獲取光的飛行時間分為直接式ToF（d-ToF）相機和間接式ToF（i-ToF）相機。d-ToF相機發射光脈沖信號探測場景，其內部的計時器記錄光信號在發射和接收之間的時間差，獲得光在場景目標和相機之間的飛行時間，從而計算出目標和相機之間的距離。d-ToF相機測量精度比i-ToF相機高，測距范圍較遠，但是其圖像分辨率較低，制作工藝較難，成本較高，目前已應用于車載激光雷達、增強現實（AR）或虛擬現實（VR）等領域。此外，由于不同光路達到探測器的時間不同，所以d-ToF在散射場景中成像時可通過設置時間門控，減少傳感器對散射光的接收，其受到多徑干擾的影響較小。因此，ToF透散射介質成像研究通常是針對i-ToF開展。

依據是否采用相關測量，i-ToF相機分為脈沖調制式ToF（PL-ToF）和連續波調制式ToF（CW-ToF）。PL-ToF相機采用脈沖調制光信號，傳感器接收來自探測場景返回的信號，接收電路的光開關S?和S?交替閉合，對應的電容積累電荷，如圖1所示。

圖1 PL-ToF深度成像系統示意圖

CW-ToF相機成像過程如圖2所示，光源經正弦信號調制，調制光信號經場景目標反射后，由ToF傳感器接收，接收信號與參考信號進行相關，通過四步相移等方式獲得接收信號和參考信號間的相位差，由相位差計算出目標深度。

圖2 CW-ToF深度成像系統示意圖

兩種i-ToF相機各具優勢，CW-ToF相機測量精度高，但是計算較復雜、功耗大。PL-ToF相機因其測量原理的限制，在近距離和遠距離處誤差較大，測量精度偏低，容易受背景噪聲和暗噪聲影響，但是其計算更簡單、計算量更低。i-ToF圖像分辨率比d-ToF相機高，成本較低，但抗干擾能力較差。由于ToF成像能夠提供場景各點的深度信息，有助于判斷物體的形貌、距離等，廣泛應用于目標識別、三維場景重構、機器視覺、人機交互等領域。

ToF穩態成像的透散射介質成像方法

ToF透散射介質成像的目標是抑制散射分量的影響或從接收信號中分離目標分量，提升ToF相機在散射場景中的成像質量。ToF穩態成像是直接基于商用ToF相機獲取場景信息，而不需要恢復精確的時間響應。在ToF穩態成像的透散射介質成像中，由于PL-ToF和CW-ToF成像原理不同，所以國內外學者針對不同的成像系統，研究了不同的深度圖像恢復方法。

散射場景中ToF穩態成像的過程可描述為相機的光源經信號調制后照亮場景，經場景目標反射后，由傳感器接收。從信號處理的角度，這一過程可表示為發射信號Lemit(t)和場景響應i(t)的卷積。

當探測場景存在散射介質時，由于散射介質對光的散射作用，傳感器接收信號是目標反射光和散射光的混疊信號，如圖3所示。因此，在散射場景中，ToF成像因受到多徑干擾的影響，會出現物體距離的錯誤估計、三維形貌被扭曲等現象，不利于其在霧天、水下等場景中的應用，所以ToF透散射介質成像能夠更準確地獲取散射場景中的有效深度信息，具有重要意義及應用前景。

圖3 散射場景中ToF穩態成像過程示意圖

PL-ToF透散射介質成像方法

PL-ToF相機的光源經方波脈沖調制，在無散射介質的場景中，返回信號Lreceive(t)只受到場景目標的影響，返回幅值與目標反射率成正比，與發射信號Lemit(t)之間的時間延遲與目標實際距離相關，如圖4（a）。在有散射介質存在的場景中，返回信號Lreceive(t)受到光散射的影響，是目標分量和散射分量多個回波信號的疊加，波形發生畸變，不再保持方波波形，如圖4（b）所示。

圖4 PL-ToF成像的發射和接收光信號的波形圖。（a）清晰場景中的波形圖；（b）散射場景中的波形圖

Laurenzis M等人采用三維距離選通成像系統最先對這一過程進行物理建模，該模型為后續PL-ToF透散射介質成像提供了理論基礎，有利于從散射光對深度成像的機理出發抑制多徑干擾的影響。Kijima D等人進一步細化了霧天PL-ToF成像模型，基于該模型的實驗裝置及實驗結果如圖5所示。Kijima D等人增加了一個時間門控在光源發射信號后立即打開，以接收只包含散射分量的信號，并依據霧的散射特性估計，實現在能見度為10 m的霧天場景中強度和深度圖像恢復，如圖6所示，振幅圖像的峰值信噪比為27.04，深度圖像在2.9 m的目標處的絕對均值誤差為0.07 m。該方法能夠有效估計散射分量，實時恢復霧天場景的深度圖像，該成果在霧天自動駕駛領域有廣闊的應用前景。

圖5 基于多重曝光時間的ToF霧天成像的實驗裝置及結果

圖6 CW-ToF成像的發射和接收光信號的波形圖。（a）清晰場景中的波形圖；（b）散射場景中的波形圖

有文獻研究了水下場景中ToF透散射介質成像，與其他研究不同，其主要關注前向散射對ToF成像的影響。該研究采用時間選通抑制后向散射，并采用貝葉斯概率模型從受到前向散射干擾的返回信號中識別反射脈沖，利用鄰近像素信息重新配置深度信息，實現了在海灣、沿海和深海三種水下環境中距離相機7~10 m的目標的深度信息恢復。其中，在10 m距離處的深度恢復圖像的偏差在2.83%。該技術能夠在水下實時恢復場景的深度信息，在水下形貌勘測等領域有可觀的應用價值。

CW-ToF透散射介質成像方法

2018年，Consani等人首次探究了霧對CW-ToF成像的影響，在Zemax上基于光線追跡模擬了霧天ToF成像過程，指出誤差主要來自光到達場景前的后向散射。該研究為霧天CW-ToF透散射介質成像提供了理論和仿真基礎，有助于理解氣溶膠粒子對CW-ToF成像的影響。

在無散射介質的場景中，傳感器接收信號與發射信號之間的相位差Δφ只與目標的實際距離和光源調制頻率相關，Δφ=4πfd0/c，如圖6（a）。在有散射介質的場景中，傳感器接收信號為目標反射光信號和散射光信號的混疊信號，如圖6（b）所示。

研究發現，當光源調制頻率高于全局傳輸帶寬時，ToF相機接收到的多徑干擾分量可近似為直流分量，從而可以實現散射場景中散射分量的抑制。Takeshi Muraji等人進一步擴展了基于相量表示的透散射介質成像方法，其基于位于同一深度的目標受到散射分量影響相同的思想，采用多頻測量場景，將位于同一深度的像素進行聚類，通過線性擬合的方式，消除散射分量的影響，實現了在目標深度為8.71 m時恢復的深度圖像的誤差為0.23 m。如圖7所示，該方法不再對調制頻率的范圍有限制，且無需繁瑣的迭代優化過程，適用于同一深度至少存在兩個反射率的目標的場景，在霧天自動駕駛等戶外場景中有很大的應用價值。

圖7 Takeshi Muraji等人采用的相量表示（a）和實驗結果（b）

有研究同樣采用相量表示，基于局部二次先驗和全局對稱先驗，采用迭代加權最小二乘法估計散射分量。該方法適應于包含目標前景和背景的場景，且目標需要與相機之間有足夠的距離，以滿足相機接收的信號中目標前的散射分量達到飽和，從而能夠采用背景區域的散射分量近似目標區域的散射分量，實驗結果表明該方法恢復深度圖像的絕對誤差均值最小為1.8 cm。該方法適應于包含目標前景和背景的場景，且目標需要與相機之間有足夠的距離，以滿足相機接收的信號中目標前的散射分量達到飽和，從而能夠采用背景區域的散射分量近似目標區域的散射分量。由于該方法在目標充滿整個相機視場、散射介質非均勻或動態散射場景時無法恢復場景深度，因此在實際應用中，該技術仍需進一步優化和改進。筆者課題組研究了偏振相量成像法，將偏振光學去霧成像從可見光成像領域引入到CW-ToF透散射介質成像中，提出了偏振度相量的概念，以描述散射場景中ToF測量數據的偏振特性，基于偏振度相量從背景區域估計出散射分量，從而實現霧天環境中振幅和深度圖像的恢復，深度恢復圖像的絕對誤差均值最小為0.01 m。偏振相量成像法的實驗裝置如圖8所示，采用時序型偏振成像系統，通過旋轉傳感器前的偏振片，采集不同偏振度下的振幅和相位圖像。

圖8 筆者課題組采用CW-ToF偏振成像系統（a）和實驗結果（b）

此外，Lu H等人同時考慮了散射場景的可見光信息和深度信息，采用水下中值雙通道先驗估計出粗略的深度圖像，并采用圖像插值方法彌補丟失的深度信息，結合可見光去霧圖像進行深度圖像濾波，提升水下深度成像質量，如圖9所示。該方法綜合考慮了場景的深度信息和顏色信息，但是沒有考慮散射光對深度圖像的退化機理，其在海底三維重構領域有重要的應用價值。

圖9 Lu H等人提出方法的流程圖（a）和實驗結果（b）

在ToF穩態成像領域，國內外學者針對不同的ToF成像原理采用不同的方式提升散射場景中ToF成像質量。基于PL-ToF相機的透散射介質成像主要抑制散射光對脈沖延遲測量的影響，而基于CW-ToF相機的透散射介質成像主要基于相量表示分離散射分量。表1對不同方法的性能進行總結，當前深度恢復精度在厘米量級，在未來仍需進一步提升。

表1 ToF穩態成像領域的不同研究方法對比

ToF瞬態成像的透散射介質成像方法

瞬態成像描述了光在場景中傳播的瞬間，有利于分析復雜環境中光的傳播路徑。基于ToF相機的瞬態成像研究最早開始于2013年，Heide等人對商用CW-ToF相機進行了硬件修改，建立了ToF時域瞬態成像模型，在多個調制頻率和相位下測量場景，通過計算重構瞬態圖像，如圖10所示。瞬態圖像是由一系列瞬態像素αx,y(τ)構成的，下標x,y為傳感器像素坐標，其描述了場景在極短光脈沖照明下像素強度隨時間的變化。由于時域瞬態成像模型難以分析噪聲問題，且計算成本較高，后續又發展了頻域瞬態成像模型和壓縮感知瞬態成像模型。ToF瞬態成像的透散射介質成像過程如圖11所示。

圖10 Heide等人拍攝的瞬態圖像時間切片

圖11 散射場景中ToF瞬態成像過程示意圖

為了恢復散射場景中的瞬態圖像，Heide F等人采用卷積稀疏編碼的方式，采用修正的高斯函數描述瞬態像素，構建過完備基，并建立基追蹤模型以重構瞬態圖像。該方法在不同濃度的牛奶和水的混合液體中進行，恢復最小誤差在1~5 cm內，其能夠在一定程度上抑制散射退化，但對真實物理過程的保真度不高，且計算成本較高。Wu R H等人基于光的偏振特性，采用主動偏振瞬態成像系統，提出了瞬態偏振度的概念，在偏振特性均勻的散射介質中恢復瞬態圖像，其實驗裝置及重構效果如圖12所示。有研究進一步擴展了這一項研究，采用自適應偏振差分方法實現瞬態成像。偏振瞬態成像方法利用了光的偏振特性，有效抑制了散射光對瞬態圖像重構的影響，在濃度為0.1~10 mfp的散射介質中，恢復瞬態圖像的誤差不超過0.5 m。但是該方法需要長時間采集大量的數據以重構瞬態圖像，不適于動態、非穩定的散射場景中，因此，其應用到真實水下場景還需進一步研究，減少方法的運行時間。

此外，Wu R H等人將穩態成像中單次散射模型擴展到瞬態成像領域，采用偏移拍攝法求解深度，重構瞬態圖像，其提出的瞬態成像的單次散射模型。該方法在60 L水中混入15 mL的牛奶的場景中重構的瞬態圖像的峰值信噪比為34.4065。該項研究進一步豐富了散射場景中瞬態圖像重構模型，重構出目標的深度和紋理，在火災救援、工業檢測、水下勘測等領域有重要的應用價值。

圖12 Wu R H等人偏振瞬態圖像重構方法的實驗裝置及結果

在瞬態成像領域，國內外學者采用了卷積稀疏編碼、偏振瞬態成像和建立單散射瞬態成像模型等方式恢復散射場景中的瞬態圖像，不同方法各具特色，其性能總結于表2中。當前瞬態成像方法較難實現實時成像，散射場景中深度恢復精度在厘米量級。

表2 ToF瞬態成像領域的不同研究方法對比

ToF透散射介質成像的應用前景

ToF相機能夠獲取場景目標的距離、紋理等形貌信息，在自動駕駛、人機交互等領域已展示了其應用價值，其透散射介質成像的潛在應用前景如下：

（1）工業自動化。Behrje U等人將ToF相機安裝在叉車的頂部，以實現在倉庫中叉車的自動駕駛。當倉庫環境中煙塵較為嚴重時，ToF深度測量受到多徑干擾的影響，會引起自動駕駛中的錯誤定位及與前方障礙物距離的錯誤估計，因此，ToF透散射介質成像研究有助于推動ToF相機在工業生產自動化中的應用。

（2）自動駕駛。2021年，Niskanen I等人基于BIM檢測移動車輛，并對車輛進行三維建模，如圖13所示。在晴朗的天氣條件下，實現了90%的檢測準確率，但是其性能會因霧天氣溶膠粒子對光的散射作用而降低。因此ToF透散射介質成像研究能夠進一步推動ToF相機在道路交流流量監測、物流監測、自動駕駛的應用。

圖13 ToF相機應用于移動車輛檢測

（3）農業生產。2011年，Klose R等人使用ToF相機評估植物的表現型，能夠在植物培育、種植期間監測植物生長狀態，優化養殖策略。2014年，Kazmi W等人測試了三種ToF相機對植物葉片成像的性能，推動了ToF相機在農業自動化生產領域的應用。2016年，Dionisio A等人基于Kinect相機，采用高度選擇和RGB分割方法分離作物和雜草。2018年，有研究對玉米進行三維重構，如圖14所示。以評估玉米的生長狀況，更好地進行種植管理。在戶外場景中，霧霾天氣會影響ToF重構質量，對植物的評估效果，因此ToF透散射介質成像研究在農業生產領域有重要的應用價值。

圖14 ToF相機應用于玉米植株的三維重構

（4）水下勘測。2014年，美國華盛頓大學Tsui C L等人首次將ToF相機用于水下目標深度探測，基于商業ToF相機進行硬件修改，實現水下深度圖像和點云圖像的采集。Atif Anwer等人基于光折射的物理模型，結合Kinect在水下獲得的RGB、深度圖像和近紅外強度圖像，實現水下目標的三維成像。Digumarti S T等人在巴哈馬群島的珊瑚園區對水下珊瑚進行三維重構，觀測珊瑚的生態體積如圖15所示。在渾濁的水下環境中，ToF相機因受到散射光的影響，重構質量顯著下降，因此ToF透散射介質成像研究有利于提升水下三維重構質量，推動ToF相機進一步應用于不同的水下環境進行形貌勘測等任務。

圖15 ToF相機在水下對珊瑚進行三維重構的應用場景

結論

ToF成像是一種主動深度成像技術，在散射環境進行ToF成像時，由于散射介質對光的散射作用，ToF深度測量會受到多徑干擾，測量誤差較大。很多研究針對ToF在散射場景中多徑干擾的校正進行開展，依據是否恢復精確的時間響應，分為穩態成像領域和瞬態成像領域。文中對這兩個領域中，ToF相機在散射環境下成像過程進行介紹和分析，分別介紹了兩個領域的ToF透散射介質成像方法。與穩態成像相比，瞬態成像能夠記錄更豐富的場景信息，有助于理解復雜環境中光的傳播過程，但是其成本較高，難以實時成像。穩態成像一般基于商業ToF相機采集數據，無需恢復精確的時間響應，成本較低。目前，ToF相機透散射介質成像領域仍處于起步階段，各種方法已有效提升散射環境中ToF的成像質量，但是由散射介質引起的多徑干擾很難完全消除且在散射介質非均勻分布的場景圖像恢復精確度降低，各種方法的魯棒性、恢復精確度仍有待進一步提升，未來研究應向著低成本、高精度的恢復效果進一步發展。

結合當前國內外研究現狀，ToF透散射介質成像未來研究方向可從以下三個方面進一步研究和完善：

（1）ToF透散射介質成像理論研究。目前已在穩態成像領域和瞬態成像領域建立了一些成像模型，但是這些成像模型均存在一些自身的局限性，比如運算時間長、散射介質的空間均勻性等，這些限制了其在實際場景中的應用。因此，在未來可借鑒其他透散射成像領域的理論，如可見光透散射介質成像理論，進一步豐富ToF透散射介質成像的理論和技術，進一步推動ToF透散射介質成像在實際場景中的應用。

（2）基于深度學習方法的ToF深度透散射介質成像。深度學習在圖像處理中展現出強大的處理能力，一些深度學習網絡已應用于ToF相機的MPI校正中，并獲得不錯的處理效果。目前尚未建立針對散射環境中ToF成像特性的深度學習網絡，因此，未來基于深度學習方法的ToF深度透散射介質成像是一個值得研究的方向。

（3）ToF與其他技術相融合的透散射介質成像。由于不同探測器具有其自身獨特的優勢，不同探測器數據融合一直是計算機視覺領域的研究熱點。目前，已有學者采用RGB-D相機實現水下深度成像，在未來可以結合ToF與其他成像技術，更好地利用不同探測器的優勢，實現更魯棒的透散射介質成像。

該項研究獲得國家自然科學基金（62031018）的資助和支持。

審核編輯 ：李倩