導讀
隨著人工智能時代的到來,同時獲得反映目標輻射特性和紋理特征的高分辨率強度圖像以及反映目標和所處場景的三維空間信息的稠密點云數據/三維圖像的激光相機雷達技術已成為激光雷達的發展趨勢。傳統的攝像機與激光雷達復合的技術方案存在異源數據融合問題,尤其是在霧雨雪天氣條件下以及水下等傳輸鏈路中存在嚴重散射的情況時難以有效工作。激光距離選通三維成像技術利用單一門控成像器件可同時獲得高質量二維強度圖像和高分辨率三維圖像,其二維圖像中的像素和三維圖像中的體素一一對應,并繼承了激光距離選通成像透散射成像的技術優勢,具有實現高性能激光相機雷達的技術潛力。不同于傳統掃描激光雷達,距離選通三維成像技術主要采用基于CMOS的門控面陣圖像傳感器作為成像器件,像素規模可超過百萬,其空間分辨率超過機械掃描激光雷達,也優于目前基于雪崩光電二極管陣列的閃光激光成像雷達,在遠距離安防監控、復雜環境生態監測、惡劣天氣及水下避障導航等領域具有巨大的應用潛力。
研究背景
1965年是激光距離選通成像的技術元年。不同于傳統成像技術對視場內目標和背景“無選擇性”成像,激光距離選通成像技術僅對感興趣距離區間內目標“選擇性”成像,從而可過濾感興趣區與成像系統間的介質散射噪聲以及感興趣區外的背景噪聲,提高作用距離和成像質量。該技術透散射介質遠距離成像的特點使得研究者們快速意識到其在夜間和水下遠距離成像方面的應用潛力。然而,受制于高性能脈沖激光器和選通成像器件發展的制約,激光距離選通成像技術在隨后的二十年發展緩慢。直到20世紀90年代,隨著硬件技術的不斷成熟,該技術被重新喚醒,在夜視和水下成像等應用領域得到迅速發展,并形成了系列的產品和裝備。
激光距離選通成像可以獲得與感興趣成像區選通延時對應的距離信息,但感興趣區內的精細距離信息仍是丟失的,所以,本質上仍是二維成像。我們人類生活在三維空間中,但是,傳統二維成像技術在成像過程中將三維空間投影為二維圖像,丟失了距離信息,從而導致空間信息降維,無法實現目標定位和尺寸測量等三維空間感知應用。隨著人工智能時代的到來,二維成像已無法滿足機器“看清世界、感知三維空間”的技術需求,因此,人們開始發展各種各樣的三維成像和激光雷達技術。激光距離選通成像技術廣義上是基于光的時間飛行法實現的,可對空間切片成像,因此,類似醫學斷層成像,可通過獲取場景的空間切片圖像實現三維重建。基于這一思路,國內外發展了多種激光距離選通三維成像技術,并開展了安防監控、生態監測和避障導航等應用研究。
主要內容
典型的激光距離選通成像系統由脈沖激光器、選通成像器件和時序控制器(TCU)組成。時序控制器提供工作時序,控制激光脈沖和選通脈沖間的延時、脈沖寬度和工作頻率等。系統工作原理如圖1所示,脈沖激光器向目標發射激光脈沖,經介質傳輸,遇到目標時被目標反射或散射,形成回波信號。當回波信號傳至選通成像器件時,選通門開啟,圖像傳感器接收回波信號,輸出選通圖像。圖1給出了本文作者及其團隊研制的激光選通成像系統在霧天和水下獲得的船舶和USAF1951目標靶的選通圖像。相比之下,傳統光學圖像中的目標淹沒在霧和水體的散射噪聲中,無法有效探測和識別。激光距離選通成像通過控制延時對感興趣距離下的空間進行切片成像,過濾了介質散射噪聲和背景噪聲,實現了在霧雨雪等條件下的透散射成像,提高了作用距離和成像質量。
圖1激光距離選通成像工作原理及成像效果
由于不同特征的激光脈沖和選通脈沖卷積后的距離能量包絡特征不同,反映了不同距離處目標回波信號的能量特征,因此,存在“時間—空間”的映射關系,這為激光距離選通成像實現三維場景重建提供了可能性。經過十多年的發展,國內外學者已提出了步進延時掃描、增益調制和距離能量相關等激光距離選通三維成像技術。其中,距離能量相關三維成像技術包括梯形、三角形以及深度學習等三維重建算法,整體的成熟度較高,技術就緒水平達到5-7級。其原因主要是:距離能量相關三維成像充分利用了選通圖像中目標距離和圖像強度的關聯信息,能夠通過較少的信號采集次數,實現超距離分辨率的三維成像,在成像實時性上具有優勢。
本文作者提出了三角形距離能量相關三維成像,可基于兩幅具有三角形距離能量包絡的選通圖像,通過建立它們能量灰度比與距離的關系重建丟失的距離信息,并利用能量域分辨率提升時間域分辨率,進而實現快速高距離分辨率三維成像。本文作者及其團隊已研制出系列激光選通三維成像系統,并開展了面向復雜環境生態監測、安防監控、避障導航等應用研究,代表性系統及應用如下:
01
海洋生物激光原位三維觀測儀“鳳眼”可用于mm級到cm級海洋生物原位觀測,并可基于三維圖像實現生物尺寸測量等功能,該系統2018年搭載中國科學院深海科學與工程研究所的“鳳凰號”深海著陸器在1070m水深下獲得的水母強度圖像和三維圖像,如圖2所示。
圖2海洋生物激光原位三維觀測儀“鳳眼”應用效果
02
冠層微細立體結構三維觀測儀“CanoMIS”可視為一種新型的植被結構監測激光雷達,可同時獲得冠層高水平分辨率的強度圖像和稠密點云數據,用于植被結構精細測量,2020年在中國科學院清原森林生態系統觀測研究站觀測塔上CanoMIS對千金榆原位觀測結果,相比傳統成像技術,基于激光選通的三維成像技術可直接過濾背景,實現感興趣目標測量,如3所示。
圖3冠層微細立體結構三維觀測儀“CanoMIS”應用效果
03
海上超視距近紅外激光三維成像系統可在低照度及霧雨雪天條件下獲得高對比度近紅外強度圖像以及高分辨率三維圖像,所選擇的近紅外波段與可見光波段相近,利于展現目標的紋理細節信息。2024年在煙臺海域開展了大霧天氣條件下夜間海上監控應用研究,對“耕海1號”海洋牧場綜合體平臺觀測結果如圖4所示:夜間連續近紅外(CW NIR)圖像受霧氣影響難以看清目標;中波紅外(MWIR)和長波紅外(LWIR)圖像可透霧成像,且輪廓清晰,但是“耕海1號”等文字紋理信息丟失;而激光選通三維成像獲得的近紅外選通圖像可以讀取“耕海1號”文字信息,并且通過三維圖像可以分辨“海星”造型甲板的三個觸角結構。
圖4 海上超視距近紅外激光三維成像系統應用效果
此外,針對汽車輔助駕駛和自動駕駛應用,歐盟DENSE計劃基于深度學習距離能量相關三維成像技術開發了一款Gated2Depth實時稠密激光雷達。該激光雷達采用了選通相機作為圖像傳感器,采用了波長808nm的VCSEL激光器作為照明光源,與傳統掃描激光雷達、雙目立體視覺等技術比測結果如圖5所示:深度學習距離能量相關三維成像技術將傳統的激光雷達點云密度提高兩個數量級以上,并可獲得高清的紋理圖像,同時不依賴環境光、具有破霧雨雪成像能力。DENSE計劃是由戴姆勒股份公司牽頭,聚焦汽車自動駕駛應用中霧雨雪等惡劣天氣條件下傳感器性能降低甚至失效問題,研發新型的全天候傳感器,實現感興趣交通信息及障礙物的高可靠探測感知。
圖5 Gated2Depth高分辨率閃光激光雷達
結論
順應人工智能時代對傳感器集成化、多功能化、智能化、小型化的發展趨勢,從激光雷達Light Detection and Ranging(LiDAR)到激光相機雷達Light Ranging and Imaging(LiRAI)將是激光雷達的發展方向。激光相機雷達的技術特點是:借助主動光照明,不依賴環境照度,利用單一傳感器同時獲得反映目標輻射特性和紋理特征的高分辨率強度圖像,以及反應目標和所處場景的三維空間信息的稠密點云數據/三維圖像,并具備一定的抗介質散射遠距離工作能力。
從20世紀60年代提出激光距離選通成像技術以來,隨著激光器、光電成像器件的發展和成熟,激光距離選通三維成像技術受到廣泛關注。該三維成像技術繼承了激光距離選通透散射成像的技術優勢,使其在霧、雨、雪、煙、塵以及水體等散射介質條件下仍可有效工作,因此,在遠距離安防監控、復雜環境生態監測、惡劣天氣及水下避障導航等領域具有巨大的應用潛力。從技術發展趨勢來看,激光距離選通三維成像為從激光雷達到激光相機雷達,再到彩色激光相機雷達提供了一條技術途徑。未來在計算成像和人工智能技術的加持下,激光距離選通三維成像將實現應用導向的系統設計,從成像原理上實現更快速、更高精度、更遠探測距離、更多成像功能、更高感知維度、更強的復雜場景適應能力等,從而滿足多樣化的場景任務需求。
撰稿人:王新偉,孫亮,張岳
論文題目:激光距離選通三維成像技術研究進展
作者:王新偉1,2,3,孫亮1,張岳1,宋博1,夏晨昊1,周燕1,2,3
審核編輯:劉清
-
半導體
+關注
關注
334文章
27003瀏覽量
216265 -
人工智能
+關注
關注
1791文章
46845瀏覽量
237535 -
激光雷達
+關注
關注
967文章
3938瀏覽量
189594 -
光電二極管
+關注
關注
10文章
400瀏覽量
35903 -
CMOS技術
+關注
關注
0文章
67瀏覽量
10228
原文標題:綜述:激光距離選通三維成像技術研究進展
文章出處:【微信號:MEMSensor,微信公眾號:MEMS】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論