過去幾年中，深度學習在計算機視覺和圖像處理方面取得了令人矚目的成功。 對于許多此類給定的任務，深度學習方法的表現優于其他人工方法，甚至優于人類專家。 例如，GoogleNet在ImageNet基準測試中的表現超過了人類。本文我們將在圖像修補領域展開一場人機大戰，比較專業藝術家和計算機算法（包括基于深度神經網絡）的表現，以確定到底誰可以產生更好的圖像修復結果？

什么是圖像修補？

圖像修復是重建圖像缺失部分的過程，以達到以假亂真的目的。 此技術通常用于兩種類型。

修復：從圖像中去除雜質或多余的部分。

恢復：舊照片，舊畫作修復損壞部分。

圖像修復是一種古老的藝術，最初需要藝術家們花費大量的心力，手工完成這項工作。 但是今天，研究人員提出了許多自動修復方法。 除了圖像之外，這些方法中的大多數還需要輸入掩模來顯示需要修復的區域。 這里，我們將九種自動修復方法與專業藝術家的結果進行了比較。

數據集

為了創建一組測試圖像，我們從私人收藏中挑選了三十三個512×512大小的圖像片。 然后我們在每個圖片的中心用填充180×180像素的黑色正方形。自動修復方法與專業藝術家的任務是通過僅改變黑色方塊中的像素來恢復扭曲圖像的自然外觀。

我們使用了未經發布的私人照片集，以確保原始圖片是沒有被神經網絡看到過的。 盡管在現實世界的修復中，不規則的掩模是典型的，但我們選擇了在圖像的中心處貼有方形掩模。

以下是我們數據集中圖像的縮略圖。

自動修復方法

我們在我們的測試數據集中應用了六種基于神經網絡的修復方法：

Deep Image Prior(Ulyanov, Vedaldi, and Lempitsky, 2017)

全局和本地一致的圖像完成 (Iizuka, Simo-Serra, and Ishikawa, 2017)

高分辨率圖像修復 (Yang et al., 2017)

Shift-Net(Yan et al., 2018)

聯系上下文的圖像修復技術(Yu et al., 2018) - 這種方法在我們的結果中出現過兩次，因為我們測試了兩個版本，每個版本都訓練在不同的數據集上（ImageNet和Places2）

使用部分卷積修復不規則孔的圖像 (Liu et al., 2018)

作為基準線，我們測試了在深度學習方法爆發之前提出的三種修復方法：

基于范例的圖像修復 (Criminisi, Pérez, and Toyama, 2004)

圖像完成的補丁偏移統計 (He and Sun, 2012)

基于內容感知填寫的Adobe Photoshop CS5

藝術家組表現：專業的藝術家

我們聘請了三位專業藝術家進行照片修飾和修復，并要求他們每個人從我們的數據集中隨機選擇三張圖像。 為了鼓勵他們產生最好的結果，我們還告訴每位藝術家，如果他或她的作品超過了競爭對手，我們會增加50％的獎勵。 雖然我們沒有嚴格的時間限制，但藝術家們都在大約90分鐘內完成了作業。

以下是他們的作品：

人類vs 算法

我們使用Subjectify.us平臺比較了三位專業藝術家的修復結果和自動修復方法的結果與原始的，未失真的圖像。

該平臺成對的向研究參與者呈現結果，要求他們從每對中選擇具有最佳視覺質量的圖像。 該平臺總共收集了來自215名參與者的6,945項成對判斷結果。

以下是此比較的整體和每圖像主觀質量得分：

藝術家們在整體上都大大優于自動化方法。但是在一個案例中，算法擊敗了藝術家：由非神經方法繪制的“城市花朵”圖像補丁偏移統計（He和Sun，2012）獲得的排名高于1號藝術家修補的圖像。此外，只有藝術家繪畫的圖像與原始未失真的圖像相比或者看起來更好：2號和3號藝術家繪制的“Splashing Sea”圖像甚至獲得了比原圖更高的質量得分。

在自動識別方法中：排名第一的是深度學習方法-基于生成的圖像修復方法。但這不是一次壓倒性的勝利，因為這個算法從未達到我們研究中任何圖像的最佳分數。 “城市花朵”和“海浪飛濺”圖的第一名分別用于非神經方法補丁補償和基于范例的修補統計，并且“森林步道”的第一名用于深度學習方法Partial Convolutions。值得注意的是，根據整體排行榜，其他深度學習方法的表現優于非神經學方法。

有趣的例子

幾個結果引起了我們的注意。上文中提到的非神經方法中的片元偏移統計方法（He和Sun，2012）產生的圖像，獲得了高于藝術家修補的圖像的分數。

此外，來自排名靠前的神經方法Generative Image Inpainting的圖像得分低于非神經方法補丁偏移統計(Statistics of Patch Offsets)。

另一個令人驚訝的結果是，在2018年提出的神經方法生成圖像修復得分低于2014年前提出的非神經方法（Exemplar-Based Image Inpainting）。

算法與算法間比較

為了進一步比較神經圖像修復方法和非神經圖像方法，我們使用Subjectify.us進行了額外的比較。 與第一次比較不同，我們使用整個33圖像數據集來比較這些方法。

以下是使用來自147名研究參與者的3,969對成對判斷計算的總體主觀評分：

第一名的算法是： Place2數據集上進行訓練的Generative Image Inpainting算法；排名第二的算法是：Photoshop CS5中的內容感知填充工具，它不使用神經網絡，僅略微落后于第一名。 在ImageNet上訓練的Generative Image Inpainting獲得第三名。

值得注意的是，所有其他深度學習方法的表現都不及非神經學網絡的方法。

結論

我們對自動圖像修復方法與專業藝術家的研究使我們得出以下結論：

藝術家們的修復仍然是獲得與原圖質量相似的圖片的唯一途徑。

僅僅對于某些特定的圖像，使用機器修復得效果可以與人工修復相媲美。

雖然自動方法中的第一位是深度學習算法，但非神經算法在許多測試中保持了強大的地位并且超越了深度學習方法。

雖然非深度學習方法可以修復任意形狀的區域，但大多數基于神經的方法對掩模形狀施加了嚴格的限制。這種約束進一步縮小了這些方法的現實適用性。因此，我們強調使用部分卷積的不規則孔的圖像修復方法，該方法可以針對性的解決任意形狀掩模問題。

我們相信該領域的未來研究以及GPU計算能力和RAM大小的增長將使深度學習算法能夠超越其傳統競爭對手，并提供與人類藝術家相同的圖像修復效果。然而，在現在的情況下，選擇經典的圖像或視頻處理方法可能比盲目選擇新的深度學習方法更好。