北京大學(xué)和新加坡國立大學(xué)的研究人員提出一種新方法去除圖像中的雨滴，通過在生成對抗網(wǎng)絡(luò)中插入注意力圖，去除雨滴的效果相比以往方法大幅提升。這項工作有很大的實際意義，比如用在自動駕駛中。

附著在玻璃窗戶、擋風(fēng)玻璃或鏡頭上的雨滴會阻礙背景場景的能見度，并降低圖像的質(zhì)量。圖像質(zhì)量降低的主要原因是有雨滴的區(qū)域與沒有雨滴的區(qū)域相比，包含不同的映象。與沒有雨滴的區(qū)域不同，雨滴區(qū)域是由來自更廣泛環(huán)境的反射光形成的，這是由于雨滴的形狀類似于魚眼鏡頭。此外，在大多數(shù)情況下，相機(jī)的焦點都在背景場景上，使得雨滴的外觀變得模糊。

在這篇論文中，北京大學(xué)計算機(jī)科學(xué)技術(shù)研究所和新加坡國立大學(xué)的研究人員解決了這種圖像能見度降低（visibility degradation）的問題。由于雨滴降低了圖像質(zhì)量，我們的目標(biāo)是去除雨滴并產(chǎn)生清晰的背景，如圖1所示。

圖1：雨滴去除方法的演示。左圖：輸入的有雨滴的圖像。右圖：我們的結(jié)果，大多數(shù)雨滴被去除了，結(jié)構(gòu)細(xì)節(jié)也被恢復(fù)。放大圖片可以更好地觀察修復(fù)質(zhì)量。

我們的方法是全自動的。該方法將有利于圖像處理和計算機(jī)視覺應(yīng)用，特別是哪些需要處理雨滴、灰塵或類似東西的應(yīng)用。

有幾種方法可以解決雨滴的檢測和去除問題。但是，一些方法專用于檢測雨滴而不能將其去除，一些方法不適用于普通相機(jī)拍攝的單個輸入圖像，或者只能處理小的雨滴，并且產(chǎn)生的輸出很模糊。

我們的工作打算處理大量的雨滴，如圖1所示。一般來說，去除雨滴的問題是難以解決的。因為首先，被雨滴遮擋的區(qū)域不是固定的。其次，被遮擋區(qū)域的背景場景的信息大部分是完全丟失的。當(dāng)雨滴較大，而且密集地分布在輸入圖像時，問題會變得更糟。

為了解決這個問題，我們使用生成對抗網(wǎng)絡(luò)（GAN）。在這個網(wǎng)絡(luò)中，產(chǎn)生的輸出將由判別網(wǎng)絡(luò)（discriminative network）進(jìn)行評估，以確保輸出看起來像真實的圖像。為了解決問題的復(fù)雜性，生成網(wǎng)絡(luò)（ generative network）首先嘗試生成一個注意力圖（attention map）。注意力圖是這個網(wǎng)絡(luò)中最重要的部分，因為它將引導(dǎo)生成網(wǎng)絡(luò)關(guān)注雨滴區(qū)域。 注意力圖由一個循環(huán)網(wǎng)絡(luò)生成，該循環(huán)網(wǎng)絡(luò)由深層殘差網(wǎng)絡(luò)(ResNets)和一個卷積LSTM和幾個標(biāo)準(zhǔn)的卷積層組成。我們稱之為attentive-recurrent network。

生成網(wǎng)絡(luò)的第二部分是一個自動編碼器（autoencoder），它以輸入圖像和注意力圖作為輸入。為了獲得更廣泛的上下文信息，在自動編碼器的解碼器側(cè)，我們應(yīng)用了多尺度損失（multi-scale losses）。每個損失都比較了卷積層的輸出和相應(yīng)的ground truth之間的差異。卷積層的輸入是解碼器層的特征。除了這些損失之外，對于自動編碼器的最終輸出，我們應(yīng)用一個感知損失來獲得與ground truth更全面的相似性。最后的輸出也是生成網(wǎng)絡(luò)的輸出。

在獲得生成圖像輸出后，判別網(wǎng)絡(luò)將檢查它是否真實。但是，在我們的問題中，尤其是在測試階段，目標(biāo)雨滴區(qū)域并沒有給出。因此，在局部區(qū)域上沒有判別網(wǎng)絡(luò)可以關(guān)注的信息。為了解決這一問題，我們利用注意力圖來引導(dǎo)判別網(wǎng)絡(luò)指向局部目標(biāo)區(qū)域。

總的來說，除了引入一種新的雨滴去除方法外，我們的另一個主要貢獻(xiàn)是將注意力圖引入到生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中，這是一種全新的方法，可以有效地去除雨滴。我們將發(fā)布代碼和數(shù)據(jù)集。

雨滴圖像的形成

我們將有雨滴的圖像建模為背景圖像與雨滴效果的結(jié)合:

其中I是彩色的輸入圖像，M是二進(jìn)制掩碼。在掩模中，M(x) = 1表示像素x是雨滴區(qū)域的一部分，否則表示它是背景區(qū)域的一部分。B表示背景圖像，R表示雨滴帶來的效果。運算符⊙表示element-wise乘法。

雨滴實際上是透明的。然而，由于雨滴區(qū)域的形狀和折射率，雨滴區(qū)域的像素不僅受到現(xiàn)實世界中一個點的影響，還受到整個環(huán)境的影響，使得大部分雨滴似乎都有不同于背景場景的意象。此外，由于我們的相機(jī)被假定聚焦在背景場景上，雨滴區(qū)域內(nèi)的圖像大多是模糊的。雨滴的某些部分，尤其是外圍和透明區(qū)域，傳達(dá)了一些有關(guān)背景的信息。我們注意到這些信息可以被我們的網(wǎng)絡(luò)利用。

使用Attentive GAN去除雨滴

圖2：Attentive GAN的架構(gòu)。生成器由一個 attentive-recurrent網(wǎng)絡(luò)和autoencoder組成。判別器由一系列的卷積層組成，并由attention map引導(dǎo)。

圖2顯示了我們提出的網(wǎng)絡(luò)的總體架構(gòu)。根據(jù)生成對抗網(wǎng)絡(luò)的思想，Attentive GAN有兩個主要部分：生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)。給定一個有雨滴的輸入圖像，我們的生成網(wǎng)絡(luò)試圖生成一個盡可能真實并且沒有雨滴的圖像。判別網(wǎng)絡(luò)將驗證生成網(wǎng)絡(luò)生成的圖像是否看起來真實。

Attentive GAN的loss可以表示為：

生成網(wǎng)絡(luò)（Generative Network）

如圖2所示，生成網(wǎng)絡(luò)由兩個子網(wǎng)絡(luò)組成：一個attentive-recurrent network和一個contextual autoencoder。

Attentive-Recurrent Network：視覺注意力模型被應(yīng)用于定位目標(biāo)區(qū)域的圖像，以捕獲區(qū)域的特征。

圖3：attention map學(xué)習(xí)過程的可視化

Contextual Autoencoder：背景自動編碼器的目的是產(chǎn)生一個沒有雨滴的圖像。自動編碼器的輸入是輸入圖像和Attentive-Recurrent網(wǎng)絡(luò)的最終注意力圖的連接。我們的deep autoencoder有16個conv-relu塊，并且跳過連接以防止模糊輸出。

圖4：Contextual Autoencoder的結(jié)構(gòu)

判別網(wǎng)絡(luò)（Discriminative Network）

我們的判別網(wǎng)絡(luò)包含7個卷積層，核為(3,3)，全鏈接層為1024，以及一個具有sigmoid激活函數(shù)的單個神經(jīng)元。我們從倒數(shù)第三個卷積層提取特征，然后進(jìn)行乘法運算。

圖5：數(shù)據(jù)集的樣本。上：有雨滴的圖像。下：相應(yīng)的ground-truth圖像。

實驗結(jié)果

表1：定量評估的結(jié)果

圖6：比較幾種不同方法的結(jié)果

圖7：比較我們網(wǎng)絡(luò)架構(gòu)的一些部分

圖8：attentive-recurrent 網(wǎng)絡(luò)生成的注意力圖的可視化

圖9：我們的輸出和Pix2Pix輸出之間的比較。我們的輸出具有更少的偽影和更好的復(fù)原結(jié)構(gòu)

應(yīng)用

為了進(jìn)一步證明我們的可見性增強(qiáng)方法對于計算機(jī)視覺應(yīng)用是有用的，我們使用了谷歌視覺API (https://cloud.google.com/vision/)來測試使用我們的輸出是否可以提高識別性能。結(jié)果如圖10所示。

圖10：一個改進(jìn)谷歌視覺API結(jié)果的示例。我們的方法增加了主要對象檢測的分?jǐn)?shù)以及識別到的對象數(shù)量。

可以看出，使用我們的輸出，一般的識別比沒有我們的可見性增強(qiáng)過程要好。此外，我們對測試數(shù)據(jù)集進(jìn)行評估，如圖11的統(tǒng)計數(shù)據(jù)顯示，使用我們的可見性增強(qiáng)輸出在識別輸入圖像中的主要對象的平均得分和識別出的對象標(biāo)簽數(shù)方面，顯著優(yōu)于沒有可見性增強(qiáng)的輸出。

圖11：基于Google Vision API的改進(jìn)

結(jié)論

我們提出了一種基于單幅圖像的雨滴去除方法。該方法利用生成對抗網(wǎng)絡(luò)，其中生成網(wǎng)絡(luò)通過attentive-recurrent網(wǎng)絡(luò)產(chǎn)生注意力圖（attention map），并將該圖與輸入圖像一起通過contextual autoencoder生成無雨滴圖像。然后，判別網(wǎng)絡(luò)評估生成的輸出的全局和局部有效性。為了能夠局部驗證，我們將注意力圖注入網(wǎng)絡(luò)。該方法的創(chuàng)新之處在于在生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)中使用注意力圖。我們還認(rèn)為，我們的方法是第一種可以處理相對嚴(yán)重的雨滴圖像的方法，而目前最先進(jìn)的雨滴去除方法尚沒有解決這個問題。