如果自動駕駛汽車和機器人要想安全高效,就需要感知周圍環(huán)境。他們還需要能夠預測周圍物體的行為——無論是其他機器人、車輛,甚至是人——并規(guī)劃他們的路徑的同時做出相應的決定。換句話說,他們需要機器視覺。
傳統(tǒng)上,機器視覺是通過相機和傳感器(包括雷達、聲納和激光雷達)的組合來實現(xiàn)的。但機器視覺通常也依賴于熱量。普渡大學電氣和計算機工程教授Zubin Jacob說:“熱輻射來自所有溫度為非零的物體。樹葉、樹木、植物、建筑物——它們都在發(fā)射熱輻射,但這是不可見的紅外輻射,我們的眼睛和傳統(tǒng)相機看不到。” 由于熱浪不斷散射,紅外相機生成的圖像缺乏材料特異性,導致圖像模糊不清,如“幽靈般”,沒有深度或紋理。
作為“幽靈”圖像的替代方案,Jacob和他在普渡大學和密歇根州立大學的同事開發(fā)了一種熱輔助檢測和測距(heat-assisted detection and ranging,HADAR)技術(shù),該技術(shù)可以解決雜亂的熱信號,以“查看”紋理和深度,從而提高圖像的清晰度和細節(jié)。在一項概念驗證實驗中,他們證明了夜間的HADAR測距與白天的RGB立體視覺一樣好。
人類在白天或光線充足的環(huán)境中可以看到豐富多樣的顏色、紋理和深度,但即使在昏暗或黑暗的情況下,也有大量的熱光子在周圍反彈。Jacob說,盡管人類看不到它,但這種情況并不限制于機器,所以我們需要開發(fā)新的傳感器和新的算法來利用這些信息。
在他們的實驗中,研究人員選擇了一個沼澤地的戶外空間,遠離道路和城市照明。他們收集了近100個不同頻率的紅外光譜中的熱圖像。正如RGB圖像中的每個像素都由三個可見頻率編碼(R代表紅色,G代表綠色,B代表藍色)一樣,實驗中的每個象素都標記有三個熱物理屬性,即TeX——溫度(T)、材料指紋或發(fā)射率(e)以及紋理或表面幾何形狀(X)。Jacob說:“人們對T和e有相當好的理解,但關(guān)于紋理的關(guān)鍵見解實際上是在X中。”這三個輸出構(gòu)成了HADAR算法對物體和環(huán)境的物理描述。
HADAR算法根據(jù)估計得到的溫度、發(fā)射率和深度,重建出物體和環(huán)境的紋理、形狀和顏色。紋理是根據(jù)發(fā)射率的差異生成的;形狀是根據(jù)深度的變化生成的;顏色是根據(jù)溫度的范圍生成的。這三個重建結(jié)果構(gòu)成了HADAR算法對物體和環(huán)境的視覺呈現(xiàn)。
最終,HADAR算法能夠從熱圖像中分離出物體和環(huán)境的物理屬性,從而消除幽靈效應,提高圖像的清晰度和細節(jié)。HADAR算法不僅能夠在黑暗中看見物體的輪廓和熱量,還能夠看見物體的溫度、材質(zhì)和紋理,就像在白天一樣。
Jacob補充道,HADAR技術(shù)能夠提供更好的適應性,不受光照條件的限制,能夠在黑暗或低能見度的環(huán)境中正常工作。此外,在激光雷達、聲納或雷達等主動方法中,如果場景中有很多代理,它們之間可能會有很多串擾。
Jacob說,HADAR作為一項新技術(shù),還處于相當初級的階段。目前,數(shù)據(jù)收集幾乎需要一分鐘的時間。相比之下,例如,夜間駕駛的自動駕駛汽車需要在幾毫秒內(nèi)對周圍環(huán)境進行成像。此外,數(shù)據(jù)收集所需的相機體積龐大、價格昂貴且耗電。所以現(xiàn)階段非常適合科學演示,但不適合廣泛采用。研究人員目前正在研究這些問題,Jacob預測,未來幾年的研究將致力于解決這些。
然而,Jacob說,有一些應用是可以立即實現(xiàn)的,比如夜間野生動物監(jiān)測。另一個不需要毫秒決策能力的地方是一些醫(yī)學應用,例如測量人體上的溫度梯度。他還表示:“現(xiàn)在最大的挑戰(zhàn)是硬件的改進,我們可以將先進的算法融入其中。” 他預測,下一代相機將是高速、緊湊的,可以在室溫下工作,因此需要全新的材料。
審核編輯:彭菁
-
傳感器
+關(guān)注
關(guān)注
2548文章
50666瀏覽量
751947 -
機器人
+關(guān)注
關(guān)注
210文章
28192瀏覽量
206506 -
編碼
+關(guān)注
關(guān)注
6文章
935瀏覽量
54760 -
自動駕駛
+關(guān)注
關(guān)注
783文章
13682瀏覽量
166144
原文標題:HADAR為熱圖像消除幽靈效應 提高圖像的清晰度和細節(jié)
文章出處:【微信號:IEEE_China,微信公眾號:IEEE電氣電子工程師】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論