FAIR何愷明團隊最新論文提出“全景FPN”，聚焦于圖像的全景分割任務，將分別用于語義分割和實例分割的FCN和Mask R-CNN結合起來，設計了Panoptic FPN。該方法可能成為全景分割研究的強大基線。

Facebook人工智能實驗室(FAIR)何愷明等人團隊在arXiv發布最新論文：Panoptic Feature Pyramid Networks。

論文聚焦于“全景分割”，在架構級別將分別用于語義分割和實例分割的FCN和Mask R-CNN結合起來，設計了一個單一的網絡：Panoptic FPN。

作者表示，實驗證明Panoptic FPN對語義分割和實例分割這兩個任務都有效，同時兼具穩健性和準確性。鑒于其有效性和概念的簡單性，該方法有望成為一個強大的baseline，成為全景分割后續進展的基礎。

雖然在概念上很簡單，但設計一個在這兩個任務都能實現高精度的單一網絡是具有挑戰性的，因為這兩個任務的最佳性能方法存在許多差異。

Panoptic FPN在COCO和Cityscapes上的結果

對于語義分割，通過擴張卷積(dilated convolutions)增強的FCN是最優的。對于實例分割，具有特征金字塔(FPN)骨架的region-based Mask R-CNN在最近的圖像識別競賽中被用作所有高分網絡的基礎。

考慮到這些方法在架構上的差異，在為這兩個任務設計單個網絡時，可能需要在實例分割或語義分割上犧牲準確性。但是，FAIR團隊提出一種簡單、靈活且有效的架構，可以使用一個同時生成region-based輸出(實例分割)和dense-pixel輸出(語義分割)的單一網絡來保證這兩個任務的準確性。

在對每個任務單獨進行訓練時，該方法在COCO和Cityscapes上的實例分割和語義分割都取得了很好的效果。實例分割接近Mask R-CNN，語義分割的精度與最新的DeepLabV3+相當。

接下來，我們將具體介紹Panoptic FPN的架構和實驗結果。

全景特征金字塔網絡Panoptic FPN

Panoptic FPN是一個簡單的、單網絡的baseline，它的目標是在實例分割和語義分割以及它們的聯合任務：全景分割上實現最高性能。

設計原則是：從具有FPN的Mask R-CNN開始，進行最小的修改，生成一個語義分割的dense-pixel 輸出(如圖1所示)。

模型架構

圖1：Panoptic FPN的架構

(a)特征金字塔網絡 (b)實例分割分支 (c)語義分割分支

特征金字塔網絡(Feature Pyramid Network)：首先簡要回顧一下FPN。FPN采用一個具有多空間分辨率特征的標準網絡(如ResNet)，并添加一個具有橫向連接的自上而下的通道，如圖1a所示。自上而下的路徑從網絡的最深層開始，并逐步向上采樣，同時添加自底向上路徑的高分辨率特性的轉換版本。FPN生成一個金字塔，通常具有1/32到1/4的分辨率，其中每個金字塔級別具有相同的通道維度(默認是256)。

實例分割分支：FPN的設計，特別是對所有金字塔級別使用相同的通道維數，使得附加基于區域的對象檢測器變得很容易，比如Faster R-CNN。 為了輸出實例分段，我們使用Mask R-CNN，它通過添加FCN分支來預測每個候選區域的二進制分段Mask，從而擴展Faster R-CNN，見圖1b。

用于增加特征分辨率的骨架架構

Panoptic FPN：如前所述，我們的方法是使用FPN對Mask R-CNN進行修改，實現像素級語義分割預測。然而，為了實現準確的預測，該任務所使用的特性應該：

(1)具有適當的高分辨率，以捕獲精細的結構;

(2)編碼足夠豐富的語義，以準確地預測類標簽;

(3)雖然FPN是為目標檢測而設計的，但是這些要求——高分辨率、豐富的、多尺度的特征——正好是FPN的特征。

因此，我們建議在FPN上附加一個簡單而快速的語義分割分支。

圖3：語義分割分支

實驗和結果

我們的目標是證明我們的方法，Panoptic FPN，可以作為一個簡單有效的單網絡baseline，用于實例分割、語義分割，以及他們的聯合任務全景分割。

因此，我們從測試語義分割方法(我們將這個單任務變體稱為Semantic FPN)開始分析。令人驚訝的是，這個簡單的模型在COCO和Cityscapes數據集上實現了具有競爭力的語義分割結果。

接下來，我們分析了語義分割分支與Mask R-CNN的集成，以及聯合訓練的效果。最后，我們再次在COCO和Cityscapes數據集上展示了全景分割的結果。定性結果如表2和表6所示。

語義分割FPN

表1：語義分割FPN的結果

Cityscapes數據集：

我們首先將基線Semantic FPN與表1a中Cityscapes數據集上語義分割的現有方法進行比較。我們的方法是FPN的一個最小擴展，與DeepLabV3+[12]等經過大量工程設計的系統相比，我們的方法能夠獲得強大的結果。

在我們的基線中，我們故意避免正交的架構改進，如Non-local或SE，這可能會產生進一步的收益。在計算和內存方面，Semantic FPN比典型的dilation model更輕量，同時能產生更高的分辨率特征(見圖4)。

圖4

COCO數據集：

我們的方法的一個早期版本贏得了2017年的COCO-Stuff 挑戰。結果見表1b。

多任務訓練

我們的方法在單任務上表現非常好；對于語義分割，上一節的結果證明了這一點；對于實例分割，這是已知的，因為該方法基于Mask R-CNN。但是，我們是否可以在多任務環境中共同訓練這兩項任務呢?

為了將我們的語義分割分支與Mask R-CNN中的實例分割分支結合起來，我們需要確定如何訓練一個單一的、統一的網絡。以往的研究表明，多任務訓練往往具有挑戰性，并可能導致結果精度下降。我們同樣觀察到，對于語義或實例分割，添加輔助任務與單任務基線相比會降低準確性。

表2：多任務訓練

表2中，ResNet-50-FPN的結果表明，使用一個簡單的語義分割損失λs，或實例分割損失λi，結果可以改善單任務baseline的結果。具體來說，適當地添加一個語義分割分支λs能改進實例分割，反之亦然。這可以用來改進單任務結果。然而，我們的主要目標是同時解決這兩個任務，這將在下一節討論。

Panoptic FPN

測試Panoptic FPN對于全景分割的聯合任務的結果，其中網絡必須聯合并準確的輸出 stuff和thing分割。

表3：Panoptic FPN的結果

主要結果：在表3a中，我們比較了使用相同骨架的Panoptic FPN分別訓練的兩個網絡。Panoptic FPN具有相當的性能，但只需要一半的計算量。

我們還通過比較兩個單獨的網絡，分別是Panoptic R101-FPN 和 R50-FPN×2，來平衡計算預算，見表3b。使用大致相等的計算預算，Panoptic FPN明顯優于兩個獨立的網絡。

綜上所述，這些結果表明聯合方法是有益的，我們提出的Panoptic FPN方法可以作為聯合任務的可靠baseline。