在美顏軟件必不可少的今天，自動化妝和妝容美化已經深入了每一個拍照、直播甚至是購物軟件中。貌美如花的背后是人工智能和視覺技術的不斷發展，面部妝容遷移是其中一項重要的技術，可以目標圖像的化妝遷移到沒有化妝的照片上，比如在挑選化妝品時就可以輸入圖像嘗試模特的妝容是否適合。

但目前的算法大多集中于固定的場景和輸出，無法適應多種多樣的應用場景。為了靈活地進行妝容遷移，實現不同圖像間妝容的遷移、互換、混合，平滑的調節妝容的濃度甚至生成新的樣式，來自上海交大和浙大的研究人員提出了一種解偶人臉屬性與化妝屬性的妝容解偶遷移器，實現了任意圖像間的妝容遷移、互換、混合與生成。

針對妝容遷移，目前的方法大多針對兩幅圖像間固定的妝容遷移，而在現實生活中對于美顏的需求缺不僅僅于此。不僅需要能夠調節妝容的濃淡、融合不同的妝容效果，甚至還需要在沒有參考圖像的情況下為面部添加合適的妝。

在這篇文章中，研究人員提出了一種稱為解偶妝容遷移器(disentangled makeup transer,DMT)的模型，基于解偶表示利用編碼器將圖像中涉及個人屬性的特征和涉及妝容的特征進行分離，隨后利用解碼器對于妝容和人臉的編碼重建出面部圖像。

解偶表示使得任意妝容遷移稱為可能，同時讓妝容的強度可調、也可以通過采樣化妝編碼來實不同妝容的生成。DMT模型一共分為了四個部分:人臉身份編碼器Ei、妝容編碼器Em，生成器G和判別器D。模型架構如下圖所示：

模型中一共包含了五個部分的損失，除了通常的對抗損失外，生成器G還包括圖像的重建損失Lrec、妝容遷移后的感知損失Lper、遷移后的妝容損失Lmak以及保證一對一人臉化妝編碼的重建損失Limr。

針對某一張輸入的圖像x，編碼器首先從其中抽取出了人臉編碼ix和妝容編碼mx。基于解偶表示，我們得到的ix是與化妝不相關的人臉特征、衣著與背景，而mx則是獨立的表示化妝的編碼。通過ix與mx的重建首先得到了第一個損失函數，來表達生成器對于輸入圖像的重建能力：

在重建損失后就需要利用其他額外的損失來控制妝容遷移的質量了。我們假設有另一張圖像y，利用妝容編碼器得到了對應的化妝編碼my，這時候就可以利用上一步生成的人臉編碼ix與這里的新的妝容my合成新的圖像xs，這就是換妝后的圖像。此時可以利用這張合成妝容的圖像得到三個損失。首先利用預訓練的模型抽取出高層次特征，將合成的圖像xs與原始人物x的面部特征進行比較得到人物面部的感知損失：

隨后需要利用化妝損失來約束模型，看看生成的圖像xs中是否得到了y的妝容。

這時候研究人員針對面部的不同區域進行的損失計算，利用語義分割來得到各個感興趣的區域。

包括面部、額頭、眼睛、嘴唇等區域，并通過直方圖匹配來得到與y對應的x作為gt進行計算：

圖中可以看到，首先將輸入圖像根據不同區域，與目標妝容圖像進行直方圖匹配作為基準，隨后利用生成的圖像與這一基準進行比較得到化妝損失。

最后為了保證圖像與面部編碼/化妝編碼一一對應，研究人員還引入了IMRL(identity makeup reconstruction loss)損失,解偶的表達在編解碼過程中保持一致：

在一對一妝容遷移的基礎上，研究人員還探索了妝容濃淡插值算法，利用一個強度因子將化妝編碼mx，my進行插值，就可以得到在x，y妝容間平滑漸變的妝容了。

如果要混合多個妝容，只需要將多個化妝編碼進行加權并利用生成器解碼即可：

如果想生成新的妝容而不依賴于任何參考圖像，就可以從化妝編碼m所在的分布中進行采樣，并將采樣得到的編碼與人臉編碼一起進行解碼實現隨機的妝容輸出。

為了更為精細化地處理圖像的妝容遷移，研究人員提出了一種掩膜注意力機制，使得模型在合成圖像的時候只針對眼部、嘴唇等特定的感興趣區域進行操作，而保留背景、衣著和與妝容無關的區域，在生成合成圖像時同時也會得到一張掩膜，最終根據掩膜、原始圖像與合成妝容圖像實現了精細化的妝容遷移圖像輸入：

M是模型生成掩膜，M'是標注的化妝相關區域掩膜

最終的損失函數就是以上各項與對抗損失的加和形式，其中不同的權重代表了不同項目在模型中對應的重要性。最終提出的模型架構如下：

其中包含了人臉屬性編碼器、化妝編碼器、生成器和判別器等。為了保證原始的妝容屬性，在化妝編碼器中沒有使用歸一化層。因為歸一化會改變妝的均值和方差，而這些對于妝容屬性特別重要。

此外為了融合人臉編碼ix與妝容編碼my，研究人員將妝容編碼my轉換成了兩個隱變量γ和β，作為動態均值和方差輸入生成器G中。研究人員Makeup Transfer(MT)數據上進行了訓練和測試，這一數據集包含了1115張無妝和2719張化妝照片。同時還分別檢驗了前面提到的各項損失對于網絡整體性能的影響，下圖可以看到人臉各個部分的妝容損失函數對于妝容的影響特別明顯：

同時注意力機制和感知損失也會顯著影響圖像妝容遷移的質量。在不使用mask和注意力機制的情況下背景會受到比較大的改變。上圖中現實了妝容遷移后與原圖的差分圖像結果。

研究人員將提出的算法DMT與其他的算法進行了充分的對比，DMT可以在充分遷移妝容的基礎上保留與妝容無關的內容：

隨后還充分比較了表現較好的BeautyGAN，雖然BG可以實現和逼真自然的妝容遷移，但是不可避免的對于不相關區域造成改變，而專注于化妝區域學習的DMT在多個指標上都呈現了更好的效果。

研究人員還對不同妝容的圖像進行了降為的可視化分析，基于妝容編碼向量在二維空間中進行顯示。可以看到妝容相似的圖像被分類在了一起，紅唇都在左上方，小清新都集中在了左下方的圖片中，而歐美煙熏妝和韓式妝容也各自聚集在了一起，這證明了妝容編碼器的表示有效區分了不同數據妝容屬性，具有很強的可解釋性。

最后讓我們一起來看看這個模型得到的驚艷效果吧！

妝容編碼線性插值下的變妝女神：

混合妝容也魅力十足:

人臉妝容插值下的無窮變幻

妝容、面容都在變換，哪個妝才是你的最愛？

多模態下的混合采樣

化妝創意從此不再是問題！

在實驗中研究人員還探究了妝容編碼中的每一個分量各自的影響，可以看到m向量中不同的分量負責化妝不同的屬性。例如m7與嘴唇的顏色和面部的黃白色調有著直接的聯系，這樣就可以針對性的調節向量分量來實現更多美妝效果了。