空氣質(zhì)量對(duì)于照片的圖像質(zhì)量有著很大的影響，不僅是北方的霧霾讓相機(jī)無法看清世界，高山海邊的濃霧也會(huì)遮擋相機(jī)探索世界的好奇眼睛。這些天氣狀況會(huì)造成圖像對(duì)比對(duì)下降、模糊和噪聲，不僅大大削弱了圖像的觀感，同時(shí)也為高級(jí)機(jī)器視覺任務(wù)造成了很大的困難。

如果能將圖像中的濃霧或霧霾去除，對(duì)于物體識(shí)別、目標(biāo)跟蹤檢測(cè)等任務(wù)都有極大的提升。先前基于機(jī)器學(xué)習(xí)的方法在模型復(fù)雜度、計(jì)算效率和表達(dá)能力上都有著各自的缺點(diǎn)。

為了提高模型的表達(dá)能力和效率，來自悉尼大學(xué)的研究人員提出了一種多尺度高效率的新模型FAMED-Net，實(shí)現(xiàn)了輕量化高精度的單張圖像去霧。

圖像去霧

霧霾對(duì)于成像的影響主要來自于空氣中的懸浮顆粒對(duì)于光線的吸收和散射，這些顆粒包括了微小液滴、灰塵和懸浮顆粒等，它們對(duì)于光線的影響造成了圖像質(zhì)量的退化。為了削減或去除這些影響，研究人員們開發(fā)出了一系列圖像去霧算法，從單張或者多張霧霾圖像中恢復(fù)出清晰的圖像。

目前主流的方法分為三類：

一類是利用深度圖等信息來輔助清晰圖像的重建；

另一類方法是利用圖像序列來重建某一場(chǎng)景的清晰圖像；

最后一種方法是直接從單張RGB圖像中重建出清晰的圖像，而這也是最具實(shí)用性和應(yīng)用前景的方法，更適合在多樣性的條件下實(shí)時(shí)使用。

但由于從退化圖像中恢復(fù)是一個(gè)ill-posed問題，圖像去霧依舊面臨著諸多挑戰(zhàn)。為了同時(shí)考慮吸收引起的衰減和散射引起的散射效應(yīng)，人們發(fā)現(xiàn)通過透射率圖來間接實(shí)現(xiàn)清晰圖像的估計(jì)，只要通過圖像估計(jì)出了環(huán)境的透射率圖、就可以根據(jù)圖像退化的逆過程計(jì)算出清晰的圖像。

人們從成像過程和基于學(xué)習(xí)的方式出發(fā)，分別提出了多種估計(jì)估算透射率和圖像去霧的方法。其中有著名的暗通道去霧方法、色彩衰減先驗(yàn)方法、非局域先驗(yàn)假設(shè)等。雖然這些方法簡(jiǎn)單且有效，但它們都是基于某些統(tǒng)計(jì)特征的描述，對(duì)于某些比較特殊的圖像就會(huì)失效。

清晰圖像與霧圖的暗通道，以及典型的暗通道去霧算法

而基于學(xué)習(xí)的方法采用了數(shù)據(jù)驅(qū)動(dòng)的方法來學(xué)習(xí)出圖像特征和透射率之間的關(guān)系，克服了手工選取先驗(yàn)特征的不足。隨著深度學(xué)習(xí)的方法，這種方法朝著更強(qiáng)大的模型、更有效的合成方法與數(shù)據(jù)以及端到端的訓(xùn)練發(fā)展。

其中著名的方法包括從霧圖中直接學(xué)習(xí)透射率的DehazeNet，多尺度架構(gòu)的MSCNN，用于在不同的尺度上進(jìn)行由粗糙到精細(xì)的回歸過程。為了顧及大氣光的影響，研究人員還提出了可以同時(shí)學(xué)習(xí)透射率圖、大氣光照和去霧圖像的DCPDN網(wǎng)絡(luò)。此外還包括了AOD-Net，GFN等方法使用了編碼器解碼器架構(gòu)和對(duì)抗方法得到了很好的結(jié)果。

但這些方法卻需要較大的內(nèi)存和計(jì)算開銷，使其在資源受限系統(tǒng)上應(yīng)用受到了限制。為了解決這些問題實(shí)現(xiàn)快速高效的圖像去霧，研究人員提出了一種適用于任意尺寸的單圖像去霧方法FAMED-Net，其中包含了三個(gè)不同尺度的解碼器以及融合模塊用于直接學(xué)習(xí)除去霧后的圖像。每個(gè)解碼器由級(jí)聯(lián)的逐點(diǎn)卷積和池化層構(gòu)成并通過稠密鏈接復(fù)用特征信息。由于沒有大型卷積的加入使得整個(gè)網(wǎng)絡(luò)十分輕量和高效。

FAMED-Net

這一模型的主要思想是通過顧及霧圖的透射率來計(jì)算去霧后的圖像的，在了解網(wǎng)絡(luò)架構(gòu)之前我們需要先復(fù)習(xí)下圖像在霧中的成像模型：

其中I是相機(jī)接受到的霧圖，而J是場(chǎng)景原始信號(hào)，t代表環(huán)境的透射率，A則代表了大氣光線。所有的lamda表示這些項(xiàng)都與波長(zhǎng)相關(guān)，在圖像中與RGB三個(gè)通道相關(guān)。研究人員將上面的模型進(jìn)行了改進(jìn)融合了大氣光照影響和透射率圖，并用統(tǒng)一的參數(shù)K表示，只要得到了K我們就可以通過觀測(cè)到的霧圖重建出清晰的圖像：

于是FMAMED-Net的主要工作變成了從霧圖中估計(jì)出場(chǎng)景對(duì)應(yīng)的K map。

研究人員首先探索了從單尺度霧圖中恢復(fù)清晰圖像的過程。這一架構(gòu)中，研究人員基于概率統(tǒng)計(jì)分析驗(yàn)證了基于統(tǒng)計(jì)學(xué)理論恢復(fù)清晰圖像的過程，利用網(wǎng)絡(luò)模型學(xué)習(xí)出不同層級(jí)的特征恢復(fù)場(chǎng)景中的K，隨后基于上面的公式到場(chǎng)景的清晰圖像。模型主要分為K編碼器和K融合及解碼器模塊。在編碼器部分通過稠密連接將不同層級(jí)的特征銜接在了一起，基于逐點(diǎn)卷積和池化操作在保持模型容量的同時(shí)代替了操作更為復(fù)雜的卷積操作，實(shí)現(xiàn)了更為緊致的結(jié)構(gòu)。

為了處理不同尺度帶來的距離效應(yīng)，研究人員還引入了高斯金字塔和拉普拉斯金字塔架構(gòu)來得到更好的性能。在原圖1/2，1/4高斯金字塔尺度上對(duì)K進(jìn)行估計(jì)，并根據(jù)融合后的多尺度特征估計(jì)出更為可靠的K map。

如上圖所示，不同尺度的圖像分別估計(jì)自身尺度的K并與對(duì)應(yīng)尺度的清晰圖像計(jì)算L2損失。最后不同尺度下估計(jì)的K疊加并融合的到最終的Kfusion。拉普拉斯金字塔也基于相同的原理，與高斯金字塔唯一不同的是它的目標(biāo)在于學(xué)習(xí)K的殘差。這種多尺度的架構(gòu)將為模型提供較大的感受野，在GP,LP模式下達(dá)到了52*52的大小。

結(jié)果

隨后研究人員在RESIDE數(shù)據(jù)上進(jìn)行了訓(xùn)練和測(cè)試，得到了很好的結(jié)果。

在真實(shí)世界圖像上與不同算法的比較：

我們可以看到環(huán)境中估計(jì)出的透射率圖，與直觀感覺十分相近：

在實(shí)驗(yàn)中研究人員還發(fā)現(xiàn)，使用批歸一化將有效提高模型的表現(xiàn)。同時(shí)更多的通道會(huì)為模型帶來更強(qiáng)的表達(dá)能力。為了克服逐點(diǎn)卷積對(duì)于結(jié)構(gòu)特征學(xué)習(xí)的劣勢(shì)，研究人員在最開始加入了3*3的卷積層有效提升了模型的恢復(fù)能力。

這種基于多尺度編解碼器的架構(gòu)可以直接得到清晰的圖像，通過逐點(diǎn)卷積和池化以及全連接的組合實(shí)現(xiàn)了高效運(yùn)行和信息共享，能高速、準(zhǔn)確地從霧圖中得到清晰的圖像。