加州大學(xué)歐文分校的這項(xiàng)研究,讓我們更期待未來(lái)更先進(jìn)的彩色夜視儀。
在一些軍事大片中,士兵頭戴夜視儀搜索前進(jìn)似乎是少不了的場(chǎng)景。使用紅外光在黑夜中觀察的夜視系統(tǒng)通常將視物渲染成單色圖像。
不過(guò),在最近的一項(xiàng)研究中,加州大學(xué)歐文分校的科學(xué)家們借助深度學(xué)習(xí) AI 技術(shù)設(shè)計(jì)了一新方法,有了這種方法,紅外視覺(jué)有助于在無(wú)光條件下看到場(chǎng)景中的可見(jiàn)顏色。
研究共同一作、加州大學(xué)歐文分校工程師、外科醫(yī)生和視覺(jué)科學(xué)家 Andrew Browne 表示,「世界上很多地方都以人們賴(lài)以做出決策的方式進(jìn)行顏色編碼,比如信號(hào)燈。」
夜視系統(tǒng)是個(gè)特例。使用紅外光照亮黑夜的夜視系統(tǒng)通常僅以綠色渲染場(chǎng)景,而無(wú)法顯示出在正常光線下可見(jiàn)的顏色。一些較新的夜視系統(tǒng)使用超靈敏相機(jī)放大可見(jiàn)光,但這些相機(jī)幾乎不能顯示出漆黑環(huán)境中沒(méi)有光可放大的顏色。
因此,在這項(xiàng)研究中,研究者推斷,賦予物體可見(jiàn)光的每種染料和顏料不僅反射了一組可見(jiàn)波長(zhǎng),而且可能反射一組紅外波長(zhǎng)。那么,如果可以訓(xùn)練一個(gè)能夠識(shí)別每種染料和顏料的紅外指紋的夜視系統(tǒng),則能夠使用與每種染料和顏料相關(guān)的可見(jiàn)光來(lái)顯示圖像。
效果圖
目前,相關(guān)論文已在期刊 PLOS ONE 上發(fā)表。
論文地址:https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0265185
這項(xiàng)研究是從不能感知的近紅外照明中預(yù)測(cè)人類(lèi)可見(jiàn)光譜場(chǎng)景的第一步。接下來(lái)的工作可以極大地促進(jìn)各種應(yīng)用,比如夜視系統(tǒng)和對(duì)可見(jiàn)光敏感的生物樣本研究。
研究概述
人類(lèi)可以感知 400-700nm 可見(jiàn)光譜中的光。一些夜視系統(tǒng)使用人類(lèi)無(wú)法感知的紅外光,將渲染后的圖像轉(zhuǎn)換到數(shù)字顯示器上,最后在可見(jiàn)光譜中呈現(xiàn)單色圖像。
研究者想要開(kāi)發(fā)一種由優(yōu)化深度學(xué)習(xí)架構(gòu)驅(qū)動(dòng)的成像算法,從而可以使用場(chǎng)景中的紅外光譜光照來(lái)預(yù)測(cè)該場(chǎng)景中的可見(jiàn)光譜渲染,就好像人類(lèi)使用可見(jiàn)光譜光感知它一樣。當(dāng)人類(lèi)處于完全「黑暗」并只有紅外光照射時(shí),他們能夠以數(shù)字方式渲染可見(jiàn)光譜場(chǎng)景。
圖像處理目標(biāo)。僅使用紅外光照顯示的圖像與使用深度學(xué)習(xí)處理 NIR 數(shù)據(jù)后的可見(jiàn)光譜圖像比較。
Andrew Browne 表示,「單色相機(jī)對(duì)它所看到的場(chǎng)景中反射的任何光子都很敏感。因此,我們使用可調(diào)光源將光照射到場(chǎng)景上,并使用單色相機(jī)捕捉在所有不同照明顏色下從該場(chǎng)景反射的光子。」
為此,研究者采用了一個(gè)對(duì)可見(jiàn)光和近紅外光敏感的單色相機(jī),在覆蓋標(biāo)準(zhǔn)可見(jiàn)紅光(604nm)、綠光(529nm)和藍(lán)光(447nm)以及紅外波長(zhǎng)(718、777 和 807 nm)的多光譜照明下采集面部打印圖像的圖像數(shù)據(jù)集。接著,他們對(duì)具有類(lèi) U-Net 架構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化,以僅從近紅外圖像中預(yù)測(cè)可見(jiàn)光譜圖像。
人臉肖像庫(kù)中的示例圖像。
接著,研究者將三張紅外圖像與彩色圖像配對(duì),以訓(xùn)練一個(gè)人工智能神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)場(chǎng)景中的顏色進(jìn)行預(yù)測(cè)。在經(jīng)過(guò)訓(xùn)練并提升性能之后,該神經(jīng)網(wǎng)絡(luò)能夠從三張看起來(lái)非常接近真實(shí)物體的紅外線圖像中重建彩色圖像。下圖左為用可見(jiàn)光譜的真彩色,圖右為深度學(xué)習(xí)算法加持下的彩色。
Andrew Browne 說(shuō)到,「當(dāng)我們?cè)黾蛹t外通道或紅外顏色數(shù)量時(shí),它會(huì)提供更多數(shù)據(jù),我們也能更好地預(yù)測(cè)實(shí)際看起來(lái)非常接近真實(shí)圖像的應(yīng)是什么。我們?cè)谶@項(xiàng)研究中提出的方法可以用來(lái)獲取三種不同紅外顏色的圖像,這三種顏色人眼無(wú)法看到。」
不過(guò),研究者只在打印的彩色照片上測(cè)試了他們的算法和技術(shù)。他們正在尋求將這些算法和技術(shù)應(yīng)用于視頻,并最終應(yīng)用于真實(shí)世界的物體和人類(lèi)主體。
審核編輯 :李倩
-
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5492瀏覽量
120976 -
夜視系統(tǒng)
+關(guān)注
關(guān)注
0文章
17瀏覽量
5076
原文標(biāo)題:黑夜也能五顏六色,用深度學(xué)習(xí)實(shí)現(xiàn)全彩夜視系統(tǒng)
文章出處:【微信號(hào):CVSCHOOL,微信公眾號(hào):OpenCV學(xué)堂】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論