作為一個設計師，是否整天因為繁瑣枯燥的修圖工作不勝其煩？現(xiàn)在，一款基于GAN的AI修圖大師可以將你從這類工作中解放出來。修輪廓、改表情、生發(fā)、加耳環(huán)、去眼鏡、補殘圖，你能想到的它都能一鍵搞定。

這可能是史上最牛的AI修圖大師。

在一張人臉圖片上畫上幾筆，比如說勾出一個眉毛的輪廓，它就能自動把草圖修正成真實的圖片，即使你毫無藝術(shù)細胞，也沒關(guān)系，只要能夠大致表明想修哪里，剩下的活兒就都交給它好了。

這款工具由韓國電子與電信通訊研究所的Youngjoo Jo和Jongyoul Park開發(fā)，它比一般的臉部圖片編輯工具或應用程序更高級，可以改變發(fā)型、把嚴肅臉改成笑臉，甚至可以加入原本沒有的配飾，比如耳環(huán)、耳釘?shù)取＿€可以在一張被部分遮擋的面部圖像上生成完整的臉部圖像，還能把圖中的人戴的太陽鏡去掉等等。

來看看這款“AI修圖大師”的神奇效果：

改變臉部輪廓特征和瞳孔顏色

生發(fā)（劃重點）、變笑臉、加頭飾，都不在話下

加個耳環(huán)、耳墜什么的，只要劃出大致位置就行了

強大的自動補全功能

草繪秒變真人，畫風夸張也沒問題

這款“神器”的開發(fā)者之一Youngjoo Jo表示：我們認為這個程序可以讓設計師不用做那么多枯燥的勞動，讓他們把更多的精力集中在創(chuàng)造性的工作上，不過這并不是說只有設計師才能使用這款工具，用戶不需要具備設計上的專業(yè)知識。

機器學習研究人員Alex Champandard表示，這款工具與過去基于GAN的面部圖片編輯程序相比實現(xiàn)了一次重大進步。

“當你面對這樣的技術(shù)創(chuàng)新時，不免會在激動之余感到一絲害怕。”這種工具將不可避免地改變設計師的日常工作節(jié)奏和內(nèi)容，但他并不認為這類工具會讓設計師面臨失業(yè)。

“現(xiàn)在的一個重要問題是，我們接下來要怎樣做，才能讓這一工具更好地服務于那些工作內(nèi)容可能出現(xiàn)重大改變的人們？如何讓這款工具成為這些人的好幫手，而不是威脅？”

SC-FEGAN：基于神經(jīng)網(wǎng)絡的人臉圖像編輯系統(tǒng)

要達到這個神奇的效果，離不開SC-FEGAN。

SC-FEGAN是一種基于神經(jīng)網(wǎng)絡的人臉圖像編輯系統(tǒng)，并提供了實現(xiàn)批量輸入數(shù)據(jù)的方法。該網(wǎng)絡可以端到端地進行訓練，并生成具有逼真紋理細節(jié)的高質(zhì)量合成圖像。

該研究成果由韓國團隊發(fā)表于arXiv：

論文地址：

https://arxiv.org/pdf/1902.06838.pdf

訓練數(shù)據(jù)

恰當?shù)挠柧殧?shù)據(jù)有助于提高網(wǎng)絡訓練性能。

在訓練本模型時，作者在幾個預處理步驟之后使用CelebA-HQ數(shù)據(jù)集：

隨機選擇2組29000張圖像用于訓練，1000張圖像用于測試；

在獲得草圖和顏色數(shù)據(jù)集之前，將圖像調(diào)整為512×512像素。

為了更好的表達人臉圖像中眼睛的復雜性，作者采用基于眼睛位置的free-from mask來訓練網(wǎng)絡。

此外，還使用了free from mask和人臉分割GFC創(chuàng)建了適當?shù)牟輬D域和顏色域。

這是非常關(guān)鍵的一步。因為它使得系統(tǒng)能夠為手繪用戶輸入案例產(chǎn)生有說服力的結(jié)果。

網(wǎng)絡結(jié)構(gòu)

該網(wǎng)絡同樣也可以同時訓練生成器和鑒別器。

生成器接收帶有用戶輸入的不完整圖像，在RGB通道中創(chuàng)建輸出圖像，并將輸出圖像的掩碼區(qū)域插入到不完整輸入圖像中，以創(chuàng)建完整圖像。

鑒別器接收完成的圖像或原始圖像（沒有掩蔽）以確定給定輸入是真實的還是假的。

在對抗訓練中，識別器的額外用戶輸入也有助于提高性能。 此外，團隊還發(fā)現(xiàn)與一般GAN損失不同的額外損失對于恢復大的擦除部分是有效的。

該網(wǎng)絡架構(gòu)如下圖所示：

圖注：SC-FEGAN的網(wǎng)絡架構(gòu)。除了輸入和輸出，LRN應用于所有卷積層之后。使用tanh作為發(fā)生器輸出的激活函數(shù)。采用SN卷積層作為鑒別器。

生成器

生成器是基于U-net，所有卷積層使用3x3大小核的門控卷積。在除了其他soft gate之外的特征映射卷積層之后應用局部信號歸一化（LRN）。LRN適用于除輸入層和輸出層之外的所有卷積層。

生成器的編碼器接收尺寸為512×512×9的輸入張量：具有在編輯時要被去除區(qū)域的不完整RGB通道圖像，描述被去除部分結(jié)構(gòu)的二進制草圖、RGB顏色筆劃圖、二元掩模和噪音（如下圖所示）。

草圖和顏色域數(shù)據(jù)集以及批處理的輸入。我們使用HED邊緣檢測器提取草圖。使用GFC ，通過分割區(qū)域的中間顏色生成顏色圖。 網(wǎng)絡的輸入包括不完整的圖像、掩模、草圖、顏色和噪聲。

編碼器使用2個步幅內(nèi)核卷積對輸入進行7次下采樣，然后在上采樣之前進行擴張卷積。

解碼器使用轉(zhuǎn)置的卷積進行上采樣。然后，添加跳躍連接(skip connection)以允許與具有相同空間分辨率的先前層連接。

除了使用tanh函數(shù)的輸出層之外，我們在每一層之后都使用了leaky ReLU激活函數(shù)。

總的來說，我們的發(fā)生器由16個卷積層組成，網(wǎng)絡的輸出是相同大小的輸入(512×512)的RGB圖像。

在將損失函數(shù)應用于輸入圖像之前，用輸入圖像替換了掩模外部的圖像的剩余部分。這種替換允許發(fā)電機專門在編輯區(qū)域上進行訓練。發(fā)生器受到了PartialConv中引入的損失的訓練：每像素損失、感知損失、風格損失和總方差損失。還使用通用GAN損失函數(shù)。

鑒別器

該鑒別器有SNPatchGAN結(jié)構(gòu)。同時，也使用3×3大小卷積內(nèi)核，并應用了gradient penalty損失。還增加了額外的一項，避免了鑒別器輸出patch的值接近于零。

總體損失函數(shù)如下：

其中，發(fā)生器用LG進行訓練，鑒別器用LD進行訓練。D(I)是鑒別器給定輸入I的輸出。

而當編輯大面積區(qū)域時，額外損失(如Lstyle和Lpercept)是非常關(guān)鍵的。

多種場景修圖俱佳，AI修圖大師大顯身手

那么，這款AI修圖大師的修圖結(jié)果如何呢？

首先將結(jié)果與Coarse-Refined net結(jié)構(gòu)和U-net結(jié)構(gòu)網(wǎng)絡進行了比較。在測試Coarse-Refined net結(jié)構(gòu)時，注意到細化階段模糊了輸出。而下圖便展示了在Coarse-Refined net上使用本文方法后的結(jié)果。

在U-net和Coarse-Refined net上使用本文方法后的結(jié)果

本文的系統(tǒng)不僅在上述細節(jié)方面，在大面積區(qū)域修改方面也是具有優(yōu)勢的。

有/沒有VGG損失的訓練結(jié)果

在處理自由形狀遮掩情況時，本文系統(tǒng)所產(chǎn)生的結(jié)果也較好。

與Celebf-HQ驗證集上的Deepfillv1進行定性比較

下圖顯示了使用草圖和顏色輸入的各種結(jié)果。實驗結(jié)果表明，該系統(tǒng)能夠使用戶很直接地編輯人臉圖像的發(fā)型、臉型、眼睛、嘴巴等特征。

系統(tǒng)的面部圖像編輯結(jié)果。 它表明系統(tǒng)可以正確地改變面部的形狀和顏色。 還表明可以用于改變眼睛的顏色或擦除不必要的部分。 特別是右下角的兩個結(jié)果表明系統(tǒng)也可以用于新的發(fā)型修飾。

GAN生成的圖像結(jié)果通常顯示出對訓練數(shù)據(jù)集的高度依賴性。在本研究中，研究人員將HED應用于所有的區(qū)域，通過調(diào)度它來擴展掩蔽區(qū)域，能夠獲得特殊的結(jié)果，產(chǎn)生面部圖像和耳環(huán)。

下圖顯示了這些有趣結(jié)果的選擇。這些例子表明，該網(wǎng)絡能夠?qū)W習小細節(jié)，即使是很小的輸入也能產(chǎn)生合理的結(jié)果。

特別的結(jié)果

總結(jié)

本文提出了一種基于端到端可訓練生成網(wǎng)絡的自由形狀掩模、草圖、顏色輸入的圖像編輯系統(tǒng)。

實驗結(jié)果表明，與其他研究相比，該網(wǎng)絡架構(gòu)和損失功能顯著改善了修復效果。并在許多情況下顯示了各種成功和逼真的編輯結(jié)果。

該系統(tǒng)在一次性修復大面積區(qū)域方面表現(xiàn)極佳，使用者不需要費力就可以產(chǎn)生高質(zhì)量和逼真的效果。

堪稱AI修圖大師！