圖像修復（Image inpainting）是一個已經被廣泛研究的計算機視覺問題，即恢復圖像中缺失的部分。斯坦福大學CS230課程的Mark Sabini等人提出“Imageoutpainting”，比圖像修復更進一步，能從一個圖像片段“推斷”出外延的部分，補全成整個畫面。這篇論文獲得了CS230期末poster的第一名，效果非常驚艷。

這是Painting Outside the Box: Image Outpainting這篇論文的代碼實現。這篇論文在吳恩達的斯坦福大學CS230課程中獲得了期末Poster的第一名。

圖像修復（Image inpainting）是一個已經被廣泛研究的計算機視覺問題，涉及恢復圖像中缺失的部分。

目前最先進的圖像修復方法方法包括Satoshi Iizuka等人在SIGGRAPH 2017提出的基于GAN的方法[1]，以及NVIDIA的Guilin Liu等人提出的基于CNN的方法[2]。

在這個研究中，我們的目標是將[1]的方法拓展到修復圖像之外的部分（outpainting），即補全超出圖像邊界的畫面。

通過遞歸地進行outpainting，可以任意地擴展圖像。

問題描述和數據準備

給定一幅 m × n 的源圖像，生成一幅 m × (n + 2k) 的圖像，其中

要解決的問題是：m=128，n=64，k=32

數據

baseline圖像：128×128的RGB城市圖像

數據集：Place365-Standard [3]

包含36500張256×256的RGB圖像，被降低采樣到128×128

100張圖像用于驗證

Place365數據集中城市圖像的樣本

數據預處理：

給定圖像,標準化成 [0,1] →?

定義mask M：

定義補足的mask

計算

設

堆疊

輸出

方法

訓練Pipeline：

使用與文獻[1]類似的DCGAN結構（G，D）；

給定Itr，進行預處理來得到In和Ip；

運行G（Ip）來得到outpainted的圖像Io；

在Io和ground-truthIn上運行D；

訓練Schedule：

用于調節G和D的三階段訓練；

階段i：使用Adam（Ir=0.0001，β1=0.9，β2=0.999，ε=10-8）在迭代Ti中優化損失（i）；

在18：2：80的分片中選擇T1，T2，T3

α=0.0004控制MSE損失

后處理：

將Io重整化為[0，255]→

使用泊松克隆（Seamless Cloning）來將和進行混合

模型

結構

除了G和D的最后一層之外，每一層都是ReLU。G和D的輸出是Sigmoid函數。其中，η是伸縮因子(dilation factors)。

Outpainting

驗證集中保留圖像樣本的修復結果，與原始ground-truth一起顯示。模型訓練了100個時段（相當于227,500次迭代），批量大小為16。

Places365的MSE損失

在Place365中訓練MSE損失。不同階段的背景顏色是不同的。在階段3中，由于將聯合損失（joint loss）進行了優化，MSE損失有小幅度增長。

本地標識符（Local Discriminator）

使用本地標識符進行訓練，減少了垂直條帶并提高了色彩保真度，但是增加了artifact和訓練時間。

擴張（dilation）的影響

網絡的訓練在城市圖像上過擬合了。在擴張不足的情況下，由于接受域有限，網絡無法outpaint。

遞歸的outpainting

在擴展和填充之后，可以將圖像輸入到網絡中。遞歸地將這個過程進行重復操作，將圖像的寬度擴大到3.5。正如期望的那樣，噪聲隨著連續迭代而混合。

結論

最終實現了圖像的outpainting；

三階段的訓練有助于其穩定性；

對于outpainting，擴張卷積對充分的神經元接受域至關重要

雖然會伴隨噪聲和誤差，但對outpainting進行遞歸是可行的。

用Keras實現Image Outpainting

在代碼實現中，我們對256*256的圖像進行了一些修改:

添加了Identity loss，即從生成的圖像到原始圖像

從訓練數據中刪除了patches（訓練pipeline）

用裁減（cropping）代替了掩膜（masking）（訓練pipeline）

添加了卷積層

結果

模型用海灘的數據訓練了200 epochs。

Recursive painting

用Keras實現Image Outpainting

1. 準備數據：

2. 構建模型

要從頭開始構建模型，你可以直接運行’outpaint.ipynb'，或

你可以下載訓練完成模型，并將其移到“checkpoint/”，然后運行它。