編者按：近日，來自Hacettepe大學和阿姆斯特丹大學的研究人員在網(wǎng)上發(fā)布了一個短視頻，在外網(wǎng)引起極大反響。視頻中展示的是一個新型圖像編輯工具，不少人把它稱為“未來的Photoshop”，因為只需選擇天氣、季節(jié)、時間段等屬性，它就能即時改變圖片內容，把春天變成冬天，把中午變成黃昏，同時原圖語義細節(jié)也會被極大保留。更驚人的是，只需選中繪制目標，比如“樹”，待研究人員在圖中畫出一篇區(qū)域后，這塊區(qū)域就會被樹填充，效果自然逼真。

目前作者只公布了調整圖像自然屬性的研究論文：Manipulating Attributes of Natural Scenes via Hallucination，其Pytorch代碼會在近期放出，有興趣的讀者可以關注Hacettepe大學的相關網(wǎng)頁。

下面是論文的大致內容：

摘要

在本研究中，我們探索構建了一個two-stage框架，允許用戶直接操作自然場景的高級屬性。這種方法的關鍵在于深層生成網(wǎng)絡，它能基于原始圖像生成“幻覺”，即好像是在不同季節(jié)、不同天氣條件、一天中的不同時間段下拍攝的同一場景。

一旦根據(jù)給定自然屬性生成了“幻覺”場景，這個“幻覺”就能結合輸入圖像做風格遷移，同時保持完整的語義細節(jié)，輸出逼真的圖像屬性調整效果。和大多數(shù)風格遷移方法不同，由于輸入圖像的目標高級屬性來自“幻覺”，它無需額外的參考圖像。此外，它允許在單個模型內基于瞬態(tài)屬性集同時操縱給定場景，因此可以避免訓練多個神經(jīng)網(wǎng)絡。

根據(jù)全面定性定量實驗的結果，我們提出的方法很有競爭力

簡介

園里樹木有的枝枒還覆蓋著積雪，影影綽綽顯現(xiàn)在多云的天幕上。月光慘淡。——巴爾扎克《薩拉金》

在我們的生活中，視覺世界會隨著時間和季節(jié)不斷變化其外觀。比如在日落時，太陽靠近地平線，這時西方天空會呈現(xiàn)宜人的紅色色調；隨著夏季到來，草地上原本鮮嫩的黃綠色被綠色取代，整體更明亮，而夏去秋來，棕色色調開始慢慢出現(xiàn)在各種自然風景中。

在時間、天氣和季節(jié)的影響下，自然界幾乎無時無刻不在發(fā)生視覺上的變化。我們把這種高級變化稱為瞬態(tài)場景屬性——例如陰天、霧天、夜晚、白天、日落、冬天、夏天……

圖像生成是一項非常具有挑戰(zhàn)性的任務，因為它的目標是輸出逼真圖像?，F(xiàn)在，如果要實現(xiàn)圖像場景屬性變化，比較常見的方法是風格遷移，但這種方法需要我們提供帶有目標屬性的樣本素材。雖然有人也提出了自動風格遷移，可以讓模型自動檢索符合的素材，但它也產(chǎn)生了新的問題，就是我們該如何設計一種可以根據(jù)期望屬性和語義分布檢索圖像的算法。

為了克服這一點，我們提出了一種結合神經(jīng)圖像生成和風格遷移的方法。首先，我們設計了一個條件圖像合成模型，它能夠在目標場景中生成具有輸入圖像類似語義內容的“幻覺”；其次，我們再用圖像風格遷移的方法，把“幻覺”移植到原始圖像中，最終輸出逼真的效果。

本研究主要貢獻：

提出了一種新的two-stage視覺屬性操作框架，用于更改給定室外圖像的高級屬性。

開發(fā)了一個條件GAN的變體，用于生成忠實于原圖語義分布的、帶有目標瞬態(tài)場景屬性的“幻覺”場景。

構建一個用布局和瞬態(tài)屬性標簽注釋的室外場景數(shù)據(jù)集。

網(wǎng)絡細節(jié)

上圖是本文提出框架的整體圖解，它的關鍵組件是下方這個黃色的場景生成網(wǎng)絡。可以發(fā)現(xiàn)，輸入圖像后，模型會先用簡單色塊模擬原圖語義分布，并把它作為場景生成網(wǎng)絡的第一個輸入。場景生成網(wǎng)絡的第二個輸入是瞬態(tài)屬性的連續(xù)值向量。

有了這兩個輸入，這個生成網(wǎng)絡能輸出和輸入圖像語義分布一致，且具有所需瞬態(tài)屬性的合成場景。在這幅新圖的基礎上，結合輸入圖像，模型就能用遷移學習生成逼真圖像。

上圖是生成網(wǎng)絡的整體圖解?？梢园l(fā)現(xiàn)，整個框架延續(xù)了GAN的一般特征，由一個生成器G和一個判別器D組成，兩者都以語義分布和瞬態(tài)場景屬性維條件。在模型中，語義分布被編碼為8位二進制碼，而瞬態(tài)場景屬性被編碼為40維向量。

在圖的左側，模型連接語義分布S、空間復制屬性向量a和z，將它門串聯(lián)饋送進G中獲得輸出。隨后，這個輸出再和S、a一起輸入右側的D，由判別器確定這幅圖像是否既符合原圖的語義分布，又帶有期望的瞬態(tài)場景屬性。

結果

在上述研究過程中，作者制作了ALS17K數(shù)據(jù)集，它包含17,772幅室外圖像，其中訓練集16,434幅，測試集1,338幅，有150個語義類別和40個瞬態(tài)場景屬性。目前這個數(shù)據(jù)集還沒有公開。

結合網(wǎng)站上的測試工具，我們檢驗了論文的具體生成效果，如下所示：

原圖

日落

冬季

多云

青蔥

在示例的兩幅圖中，霧天效果都不是很明顯，因此這里不再展示。下面是論文中的一些圖片。