數據增強技術使AI模型能夠基于大都會藝術博物館的一個小型數據集來模仿藝術作品，并在醫療健康等領域開創全新的潛在應用。

NVIDIA Research的最新AI模型可謂生成式對抗網絡（GAN）領域的“神童”。相較于典型的GAN，它只需要基于極少量的學習材料，就能學習諸如模仿著名畫家和重建癌癥組織圖像這樣復雜的技能。

通過將一種突破性的神經網絡訓練技術應用于常用的NVIDIA StyleGAN2模型，NVIDIA的研究人員基于大都會藝術博物館中不到1，500張圖像重新設計了藝術作品。他們使用NVIDIA DGX系統加速訓練，從歷史人物肖像中汲取靈感，創作出了全新的AI藝術作品。

這種稱為自適應鑒別器增強（ADA）的技術能在將訓練圖像的數量縮減10-20倍的情況下，仍保持不錯的效果。未來，該技術將會為醫療健康領域帶來重大影響，例如，可通過創建癌癥組織學圖像來幫助訓練其他AI模型。

NVIDIA圖形研究副總裁David Luebke表示：“這些研究結果意味著，人們可以使用GAN來解決大量數據過于耗時或難以獲取的問題。我十分期待藝術家、醫學專家和研究人員能夠對其充分利用，實現更多應用。”

本周，這一項目的研究論文將在年度神經信息處理系統大會NeurIPS上發表。在本屆大會上，NVIDIA Research破紀錄地有28篇研究論文入選，該論文就是其中之一。

這種新方法是NVIDIA研究人員在GAN領域的一系列創新中的最新成果。這些研究人員開發了基于GAN的突破性模型，包括AI繪畫應用程序GauGAN、游戲引擎模擬器GameGAN和寵物照片轉換器GANimal。這些模型在NVIDIA AI Playground均有提供。

數據訓練的困境

像大多數神經網絡一樣，GAN長期遵循一個基本原則：數據訓練量越多，模型越完善。這是因為每個GAN都由兩個配合的網絡組成——一個生成合成圖像的生成器，以及一個根據訓練數據來學習逼真圖像的鑒別器。

鑒別器會指導生成器，提供逐個像素反饋，以幫助其提升合成圖像的真實感。但如果可供學習的訓練數據有限，鑒別器就無法幫助生成器發揮其全部潛能，就如同新手教練的實戰經驗要比經驗豐富的專家少得多。

要訓練高質量的GAN，通常需要50，000至100，000個訓練圖像。但在很多情況下，研究人員根本沒有成千上萬的樣本圖像可以利用。

僅使用幾千張圖像進行訓練，許多GAN就會難以運行，無法產生逼真的結果。當鑒別器僅能記住訓練圖像而無法向生成器提供有用的反饋時，就會發生“過擬合”的問題。

在圖像分類任務中，研究人員會通過數據增強來解決過擬合的問題。這項技術使用現有圖像的副本來擴展較小的數據集，這些副本經過旋轉、裁剪或翻轉等過程而隨機扭曲，從而迫使模型更加通用化。

但是，此前將增強技術應用于GAN訓練圖像時，生成器學會了模仿那些失真的圖像，而非創建可信的合成圖像。

GAN的實戰演練

NVIDIA Research的ADA技術能夠自適應地應用數據增強，這意味著在訓練過程中的不同點上，可以調整數據增強的數量，以避免過擬合。這使諸如StyleGAN2這樣的模型可以使用更少的訓練圖像，獲得同樣驚人的效果。

結果，研究人員可以將GAN應用于從前看來不切實際的應用中。在這些應用中，示例往往太少且難以獲得，或收集大型數據集的工作太耗費時間。

藝術家使用了不同版本的StyleGAN來創作令人驚嘆的展品，并根據傳奇插畫家Osamu Tezuka的風格創作了新的漫畫。Adobe甚至采用它來為Photoshop的全新AI工具“神經過濾器（Neural Filters）”提供支持。

由于入門所需的訓練數據較少，因此采用ADA的StyleGAN2可應用于珍稀藝術作品，例如總部位于巴黎的AI藝術團體Obvious在非洲科塔面具上的作品。

另一潛在應用是醫療健康領域，因為大多數檢查結果都是正常的，因此罕見疾病的醫學圖像可能非常稀少。要想積累大量有用的異常病理切片數據集，需要醫學專家花費大量時間，辛苦地進行標記。

通過GAN，采用ADA創建的合成圖像可以填補這一空白，為另一種AI模型生成訓練數據，從而幫助病理學家或放射學家發現病理圖像或MRI研究中的罕見病情。此外，借助AI生成的數據，就不存在患者數據或隱私方面的擔憂，更便于醫療機構共享數據集。

NVIDIA Research在NeurIPS上大放異彩

NVIDIA Research成員團隊由全球200多名科學家組成，致力于AI、計算機視覺、自動駕駛汽車、機器人技術和圖形學等領域。在12月6日至12日舉行的年度最大的AI研究會議NeurIPS上，將重點介紹NVIDIA研究人員撰寫的超過24篇論文。

點擊鏈接，查看NVIDIA Research成員團隊在NeurIPS大會上發表的全部論文。

文章主配圖是由StyleGAN2借助ADA生成的，其僅僅基于大都會藝術博物館收藏品API的不到1，500張圖像的數據集進行了訓練。