使用生成對抗網(wǎng)絡(luò)（GAN）進(jìn)行圖像超分辨率（SR）已經(jīng)在恢復(fù)逼真細(xì)節(jié)方面取得了巨大成功。然而，眾所周知，基于 GAN 的 SR 模型會產(chǎn)生令人難以接受的偽影，特別是在實(shí)際場景中。以往的研究通常在訓(xùn)練階段通過額外的損失懲罰來抑制瑕疵，但這些方法只適用于訓(xùn)練過程中生成的同分布下的瑕疵類型。

• 論文鏈接：https://arxiv.org/abs/2307.02457
• 代碼鏈接：https://github.com/TencentARC/DeSRA

第一列：低清輸入；第二列：現(xiàn)有超分方法引起瑕疵；第三列：DeSRA 檢測出瑕疵區(qū)域；第四列：DeSRA 去除瑕疵

• GAN 訓(xùn)練出現(xiàn)的瑕疵（GAN-training artifacts）：出現(xiàn)在訓(xùn)練階段，主要是由于訓(xùn)練時網(wǎng)絡(luò)優(yōu)化的不穩(wěn)定和在同分布數(shù)據(jù)上的 SR 的 ill-pose 導(dǎo)致。在有干凈的高清圖像存在的情況下，可以在訓(xùn)練過程中對這些瑕疵加以約束，進(jìn)而緩解瑕疵的生成，如 LDL [3]。
• GAN 推理出現(xiàn)的瑕疵（GAN-inference artifacts）：出現(xiàn)在推理階段，這些偽影通常是在真實(shí)世界未見過的數(shù)據(jù)中出現(xiàn)的。這些瑕疵通常不在訓(xùn)練數(shù)據(jù)的分布中，并不會在訓(xùn)練階段出現(xiàn)。因此，通過改善訓(xùn)練過程的方法（例如 LDL [3]）無法解決這些瑕疵問題。

• 這些瑕疵不會出現(xiàn)在預(yù)訓(xùn)練的 MSE-SR 模型中。
• 這些瑕疵很明顯且面積較大，能夠很容易被人眼捕捉到。上圖展示了一些包含這些瑕疵的樣例。

• 局部紋理復(fù)雜性：局部區(qū)域 P 內(nèi)像素強(qiáng)度的標(biāo)準(zhǔn)差 σ(i, j) 來表示局部紋理

• 絕對紋理差異 d：兩個局部區(qū)域的標(biāo)準(zhǔn)差（x 表示 GAN-SR 區(qū)域，y 表示 MSE-SR 區(qū)域）

• 相對紋理差異 d’：

• 歸一化到 [0, 1]:

• 引入一個常數(shù) C：處理分母相對較小的情況

分別是 MSE-SR 和 GAN-SR 結(jié)果，(?) 表示逐元素相乘，M 是檢測到的偽影地圖。然后，研究團(tuán)隊(duì)使用少量數(shù)據(jù)從真實(shí)數(shù)據(jù)中生成數(shù)據(jù)對（x，）來微調(diào)模型，其中 x 表示 LR 數(shù)據(jù)。只需要進(jìn)行少量迭代的微調(diào)（在本次實(shí)驗(yàn)中大約 1K 次迭代就足夠了），更新后的模型將產(chǎn)生視覺感知良好且沒有明顯瑕疵的結(jié)果。此外，它不會影響沒有瑕疵的區(qū)域中的細(xì)節(jié)。這種方法的工作機(jī)制是通過微調(diào)過程將合成數(shù)據(jù)的分布與實(shí)際數(shù)據(jù)的分布之間的差距縮小，從而減輕 GAN-inference 中的瑕疵問題。

由于缺乏真實(shí)世界低分辨率數(shù)據(jù)的高清參考圖片，經(jīng)典指標(biāo)如 PSNR、SSIM 無法采用。因此，研究團(tuán)隊(duì)考慮三個指標(biāo)來評估檢測結(jié)果，包括 1) 檢測到的瑕疵區(qū)域與實(shí)際的（人工標(biāo)注的）瑕疵區(qū)域之間的交并比（IoU），2) 檢測結(jié)果的精確度和 3) 檢測結(jié)果的召回率。當(dāng)用 A 和 B 表示特定區(qū)域 z 的檢測到的瑕疵區(qū)域和實(shí)際的瑕疵區(qū)域時，IoU 定義為：