ChatGPT 引發了語言大模型狂潮，AI 另一個重大領域 —— 視覺 —— 的 GPT 時刻何時到來？

前兩天，機器之心介紹了Meta 最新研究成果Segment Anything Model (SAM)。該研究引起了AI社區廣泛討論。

而據我們所知，幾乎同一時間，智源研究院視覺團隊也推出通用分割模型 SegGPT（Segment Everything In Context）—— 利用視覺提示（prompt）完成任意分割任務的通用視覺模型。

論文地址：https://arxiv.org/abs/2304.03284

代碼地址：https://github.com/baaivision/Painter

Demo：https://huggingface.co/spaces/BAAI/SegGPT

SegGPT 與 Meta AI 圖像分割基礎模型 SAM 同時發布，兩者的差異在于 ：

SegGPT “一通百通”：給出一個或幾個示例圖像和意圖掩碼，模型就能 get 用戶意圖，“有樣學樣” 地完成類似分割任務。用戶在畫面上標注識別一類物體，即可批量化識別分割同類物體，無論是在當前畫面還是其他畫面或視頻環境中。

SAM “一觸即通”：通過一個點或邊界框，在待預測圖片上給出交互提示，識別分割畫面上的指定物體。

無論是 “一觸即通” 還是 “一通百通”，都意味著視覺模型已經 “理解” 了圖像結構。SAM 精細標注能力與 SegGPT 的通用分割標注能力相結合，能把任意圖像從像素陣列解析為視覺結構單元，像生物視覺那樣理解任意場景，通用視覺 GPT 曙光乍現。

SegGPT 是智源通用視覺模型 Painter（CVPR 2023）的衍生模型，針對分割一切物體的目標做出優化。SegGPT 訓練完成后無需微調，只需提供示例即可自動推理并完成對應分割任務，包括圖像和視頻中的實例、類別、零部件、輪廓、文本、人臉等等。

該模型具有以下優勢能力：

1. 通用能力：SegGPT 具有上下文推理能力，模型能夠根據提供的分割示例（prompt），對預測進行自適應的調整，實現對 “everything” 的分割，包括實例、類別、零部件、輪廓、文本、人臉、醫學圖像、遙感圖像等。

2. 靈活推理能力：支持任意數量的 prompt；支持針對特定場景的 tuned prompt；可以用不同顏色的 mask 表示不同目標，實現并行分割推理。

3. 自動視頻分割和追蹤能力：以第一幀圖像和對應的物體掩碼作為上下文示例，SegGPT 能夠自動對后續視頻幀進行分割，并且可以用掩碼的顏色作為物體的 ID，實現自動追蹤。

案例展示

1. 作者在廣泛的任務上對 SegGPT 進行了評估，包括少樣本語義分割、視頻對象分割、語義分割和全景分割。下圖中具體展示了 SegGPT 在實例、類別、零部件、輪廓、文本和任意形狀物體上的分割結果。

2. 標注出一個畫面中的彩虹（上圖），可批量化分割其他畫面中的彩虹（下圖）

3. 用畫筆大致圈出行星環帶（上圖），在預測圖中準確輸出目標圖像中的行星環帶（下圖）。

4. SegGPT 能夠根據用戶提供的宇航員頭盔掩碼這一上下文（左圖），在新的圖片中預測出對應的宇航員頭盔區域（右圖）。

訓練方法

SegGPT 將不同的分割任務統一到一個通用的上下文學習框架中，通過將各類分割數據轉換為相同格式的圖像來統一各式各樣的數據形式。

具體來說，SegGPT 的訓練被定義為一個上下文著色問題，對于每個數據樣本都有隨機的顏色映射。目標是根據上下文完成各種任務，而不是依賴于特定的顏色。訓練后，SegGPT 可以通過上下文推理在圖像或視頻中執行任意分割任務，例如實例、類別、零部件、輪廓、文本等。

Test-time techniques

如何通過 test-time techniques 解鎖各種能力是通用模型的一大亮點。SegGPT 論文中提出了多個技術來解鎖和增強各類分割能力，比如下圖所示的不同的 context ensemble 方法。所提出的 Feature Ensemble 方法可以支持任意數量的 prompt 示例，實現豐儉由人的推理效果。

此外，SegGPT 還支持對特定場景優化專用 prompt 提示。對于針對性的使用場景，SegGPT 可以通過 prompt tuning 得到對應 prompt，無需更新模型參數來適用于特定場景。比如，針對某一數據集自動構建一個對應的 prompt，或者針對一個房間來構建專用 prompt。如下圖所示：

結果展示

模型只需少數 prompt 示例，在 COCO 和 PASCAL 數據集上取得最優性能。SegGPT 顯示出強大的零樣本場景遷移能力，比如在少樣本語義分割測試集 FSS-1000 上，在無需訓練的情況下取得 state-of-the-art 性能。

無需視頻訓練數據，SegGPT 可直接進行視頻物體分割，并取得和針對視頻物體分割專門優化的模型相當的性能。

以下是基于 tuned prompt 在語義分割和實例分割任務上的效果展示：

審核編輯 ：李倩