01

/導讀/

變化檢測是遙感領域的一個重要研究領域，對于觀察和分析地表變化起著關鍵作用。盡管基于深度學習的方法在該領域取得了顯著的成果，但在時空復雜的遙感場景中執行高精度的變化檢測仍然是一個重大挑戰。最近流行的基礎模型，憑借其強大的通用能力和泛化能力，為該問題提供了潛在的解決方案。然而，如何彌補不同數據域和任務域之間的鴻溝仍然是一個挑戰。在本文中，作者介紹了一種名為“時空旅行”（TTP）的新方法，該方法將SAM基礎模型的通用知識整合到變化檢測任務中。該方法有效地解決了在通用知識轉移中的領域偏移問題，以及大模型在表達多時相圖像同質性和異質性特征時的挑戰。在LEVIR-CD上取得的SOTA結果證明了TTP的有效性。

02

/引言/

隨著對地觀測技術的發展，遙感圖像變化檢測已經成為該領域研究的前沿和熱點。其主要目標是分析多時相遙感產品中感興趣的變化，這些變化通常表現為像素級的二元分類（變化/未變化）。遙感地面的動態屬性不僅受自然因素的影響，也受人類活動的影響。精確感知這些變化對于土地覆蓋的定量分析具有極其重要的意義，可以作為描繪宏觀經濟趨勢、人類活動和氣候變化的有力工具。

高分辨率遙感圖像已經成為復雜變化檢測的有力工具。然而，在復雜場景中執行穩健的變化檢測仍然是一個艱巨的挑戰。變化檢測聚焦“非語義變化”中的“有效變化”，即，由大氣條件、遙感器、配準等引起的非語義變化，以及與下游應用無關的語義變化都應該被忽略。這對開展精準的變化檢測任務提出了相當大的挑戰。深度學習技術在變化檢測領域取得了顯著的進步。例如，基于CNN的算法可以通過其強大的特征提取能力揭示變化區域的穩健特征，從而在各種復雜場景中取得了令人印象深刻的性能。最近，基于Transformer的方法進一步加速了這個領域的發展，Transformer可以捕捉整個圖像中的長距離依賴關系，賦予模型全局感受野，為需要高級語義知識的任務（如變化檢測）開辟了新的途徑。盡管這些方法取得了顯著的成功，但它們在復雜和不斷變化的時空環境中的適應性仍然距離實際應用有相當大的距離。此外，隨著模型規模的擴大，變化檢測有限的標注數據也顯著限制了這些模型的潛力。雖然自監督表示學習和模擬數據生成等取得了一些進展，但它們仍然無法完全覆蓋由時空變化引起的遙感圖像場景的多樣性。也無法推動大參數模型在不同場景中的性能。

基礎模型強大的通用性和適應性已經得到了證明。這些模型在大量數據上進行訓練，從而獲得了通用的知識和表示。視覺領域的基礎模型，如CLIP和SAM，已經被研究人員廣泛研究和利用。這些模型是大量通用知識的存儲庫，可以進行跨領域的轉移和共享，能夠大大減少特定任務標注數據的需求。然而，當前的視覺基礎模型主要是為自然圖像設計的，這些模型用于遙感圖像變化檢測任務時會產生領域差異。此外，大多數視覺基礎模型擅長理解單個圖像，在提取多個圖像同質性和異質性特征的方面表現不佳，特別是當圖像中發生顯著變化時，而這種能力對于變化檢測來說是至關重要的。

本文將視覺基礎模型的通用知識融入到變化檢測任務中。該方法克服了在知識轉移過程中遇到的領域偏移問題，以及表達多時相圖像的同質性和異質性特征的挑戰。文中引入了一種名為“時空旅行”（TTP）的方法，該方法將時相信息無縫地集成到像素語義特征空間中。具體來說，TTP利用了SAM模型的通用分割知識，并將引入低秩微調參數到SAM主干中來緩解空間語義的領域偏移。此外，TTP提出了一個時間旅行激活門，允許時相特征滲透到像素語義空間，從而賦予基礎模型理解雙時相圖像之間的同質性和異質性特征的能力。最后，文中設計了一個輕量高效的多層級變化預測頭來解碼密集的高級變化語義特征。該方法為開展準確高效的遙感圖像變化檢測鋪平了道路。

本文的主要貢獻總結如下：

1）作者通過將基礎模型的通用潛在知識轉移到變化檢測任務，解決了注釋數據不足的問題。在文章中，通過引入時間旅行像素（TTP）來彌補知識轉移過程中的時空領域差距。

2）具體來說，作者引入了低秩微調以緩解空間語義的領域偏移，提出了一個時間旅行激活門以增強基礎模型識別圖像間相關性的能力，并設計了一個輕量高效的多層級預測頭來解碼基礎模型中封裝的密集語義信息。

3）作者在LEVIR-CD數據集上將提出的方法與各種先進的方法進行了比較。結果表明，該方法達到了最先進的性能，突顯了其有效性和進一步應用的潛力。

03

/方法/

Overview

為了減輕變化檢測的注釋需求，本文利用了從基礎模型轉移過來的通用知識。作者利用SAM的通用分割能力來構建一個變化檢測網絡，即TTP。TTP主要由三個部分組成：基于低秩微調的基礎模型主干；插入雙時相圖像特征間的時間旅行激活門；以及一個高效的多層級解碼頭。其結構如圖1所示。

Efficient Fine-tuning of Foundation Model

SAM的主干由Transformer編碼器組成，可以分為base版、large版和huge版，分別對應12層、24層和32層。為了提高計算效率，主干中的大部分Transformer層使用局部注意力，只有四層使用全局注意力。在本文中利用預訓練的視覺主干，保持其參數處于凍結狀態，以加速適應下游任務。為了彌補自然圖像和遙感圖像領域之間的差距，在多頭注意力層中引入了低秩可訓練參數，如下式所示，

Time-traveling Activation Gate

當前的視覺基礎模型擅長理解單個圖像的內容，在提取圖像間的特征時表現不佳。然而，在變化檢測中，專注于雙時相圖像中的“有效差異”而忽略“無關差異”是至關重要的。為了解決這個問題，文中引入了時間旅行激活門，它促進了時相特征流入像素特征的語義空間。這使基礎模型能夠理解雙時相圖像中的變化，并關注“有效變化”。為了提高效率，只在主干中的全局注意力層后加入激活門，按照下面的公式來整合雙時相信息，

Multi-level Decoding Head

遙感圖像的場景多樣，地物的尺度存在顯著變化。然而，基于ViT的視覺編碼器通常只生成單一尺度的特征圖。盡管這些圖包含了高級的全局語義信息，但如果沒有多層級的解碼頭，它們的性能優勢可能難以顯現。為了解決這個問題，文中設計了一個輕量高效的多層級變化預測頭。該頭通過轉置卷積上采樣和最大池化下采樣來構建多級特征。然后使用一個輕量級的MLP映射層來輸出最終的變化概率圖，

04

/實驗/

作者在LEVIR-CD上進行了實驗。為了評估性能，采用廣泛認可交并比（IoU）、F1分數、精確度和召回率，以及總體準確度（OA）。

作者將提出的TTP與一系列最先進的變化檢測方法進行了比較，包括FC-Siam-Di、DTCDSCN、STANet、SNUNet、BIT、ChangeFormer、ddpm-CD、WNet 和CSTSUNet。比較結果如表1所示，提出的TTP達到了最高的性能（92.1/85.6 F1/IoU），顯著超過了當前的先進方法，如WNet（90.7/82.9）和CSTSUNet（90.7/83.0）。這表明了從基礎模型轉移通用知識可以增強變化檢測，同時也驗證了提出的轉移方法的有效性。

如表1所示，當移除時間旅行門（ttg）和多級解碼頭（ml）時，性能會有所下降。此外，從基礎模型中移除低秩微調參數會導致性能大幅下降。這些觀察結果強調了本文提出的方法可以有效地彌補領域差距并增強時空理解。它們同時也驗證了每個組件在變化檢測任務中的有效性。

05

/結論/

本文通過將基礎模型的通用知識融入變化檢測任務，緩解了復雜時空遙感場景下模型難泛化的挑戰。具體來說，作者引入了低秩微調來彌補自然圖像和遙感圖像之間的空間語義鴻溝，緩解了基礎模型的局限性；提出了一個時間旅行激活門，使基礎模型具有時相建模的能力。此外設計了一個多層級變化預測頭來解碼密集特征。在LEVIR-CD數據集上的實驗結果表明了提出方法的有效性，該方法能在單卡4090上進行訓練。

審核編輯：黃飛

?