CentripetalNet的核心在于新的角點匹配方式，額外學(xué)習(xí)一個向心偏移值，偏移值足夠小的角點即為匹配，相對于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點目標(biāo)檢測的場景，增強角點特征
?

論文: CentripetalNet: Pursuing High-quality Keypoint Pairs for Object Detection

論文地址：https://arxiv.org/abs/2003.09119

論文代碼：https://github.com/KiveeDong/CentripetalNet

Introduction

CornerNet打開了目標(biāo)檢測的新方式，通過檢測角點進(jìn)行目標(biāo)的定位，在角點的匹配上，增加了額外embedding向量，向量距離較小的角點即為匹配。而論文認(rèn)為，這種方法不僅難以訓(xùn)練，而且僅通過物體表面進(jìn)行預(yù)測，缺乏目標(biāo)的位置信息。對于相似物體，embedding向量很難進(jìn)行特定的表達(dá)，如圖1所示，相似的物體會造成錯框現(xiàn)象。

? 為此，論文提出了CentripetalNet，核心在于提出了新的角點匹配方式，額外學(xué)習(xí)一個向心偏移值，偏移值足夠小的角點即為匹配。相對于embedding向量，這種方法更為魯棒，解釋性更好。另外，論文還提出十字星變形卷積，針對角點預(yù)測的場景，在特征提取時能夠準(zhǔn)確地采樣關(guān)鍵位置的特征。最后還增加了實例分割分支，能夠?qū)?a href="http://www.nxhydt.com/v/tag/1722/" target="_blank">網(wǎng)絡(luò)拓展到實例分割任務(wù)中。

CentripetalNet

如圖2所示，CentripetalNet包含四個模塊，分別為：

角點預(yù)測模塊(Corner Prediction Module)：用于產(chǎn)生候選角點，這部分跟CornerNet一樣。

向心偏移模塊(Centripetal Shift Module)：預(yù)測角點的向心偏移，并根據(jù)偏移結(jié)果將相近的角點成組。

十字星變形卷積(Cross-star Deformable Convolution)：針對角點場景的變形卷積，能夠高效地增強角點位置的特征。

實例分割分支(Instance Mask Head)：類似MaskRCNN增加實例分割分支，能夠提升目標(biāo)檢測的性能以及增加實例分割能力。

Centripetal Shift Module

Centripetal Shift

對于，幾何中心為，定義左上角點和右下角點的向心偏移為：

函數(shù)用來減少向心偏移的數(shù)值范圍，讓訓(xùn)練更容易。在訓(xùn)練時，由于非GT角點需要結(jié)合角點偏移計算向心偏移，比較復(fù)雜，如圖a所示，所以僅對GT角點使用smooth L1損失進(jìn)行向心偏移訓(xùn)練：

Corner Matching

屬于同一組的角點應(yīng)該有足夠近的中心點，所以在得到向心偏移和角點偏移后，可根據(jù)角點對應(yīng)的中心點判斷兩個角點是否對應(yīng)。首先將滿足幾何關(guān)系的角點組合成預(yù)測框，每個預(yù)測框的置信度為角點置信度的均值。接著，如圖c所示，定義每個預(yù)測框的中心區(qū)域：

的角點計算為：

為中心區(qū)域?qū)?yīng)預(yù)測框邊長的比例，根據(jù)向心偏移計算出左上角點的中心點和右下角點的中心點，計算滿足中心區(qū)域關(guān)系的預(yù)測框的權(quán)值：

從公式5可以看出，角點對應(yīng)的中心點的距離越近，預(yù)測框的權(quán)值越高，對于不滿足中心點幾何關(guān)系的預(yù)測框，權(quán)值直接設(shè)為0，最后，使用權(quán)值對置信度進(jìn)行加權(quán)輸出。

Cross-star Deformable Convolution

為了讓角點感知目標(biāo)的位置信息，coner pooling使用max和sum來進(jìn)行目標(biāo)信息的水平和垂直傳遞，導(dǎo)致輸出的特征圖存在十字星現(xiàn)象，如圖4a所示，十字星的邊界包含了豐富的上下文信息。為了進(jìn)一步提取十字星邊界的特征，不僅需要更大的感受域，還需要適應(yīng)其特殊的幾何結(jié)構(gòu)，所以論文提出了十字星變形卷積。

但并不是所有的邊界特征都是有用的，對于左上角點而言，由于十字星的左上部邊界特征在目標(biāo)的外部，所以其對左上角點是相對無用的，所以論文使用偏移引導(dǎo)(guiding shift)來顯示引導(dǎo)偏移值(offset field)的學(xué)習(xí)，偏移引導(dǎo)如圖b所示。偏移值共通過三個卷積層獲得，前兩個卷積層轉(zhuǎn)化corner pooling的輸出，通過下面的損失函數(shù)有監(jiān)督學(xué)習(xí)：

為偏移引導(dǎo)，定義為：

第三層卷積將特征映射為最終偏移值，內(nèi)涵了目標(biāo)的上下文信息和幾何信息。

論文對不同的采樣方法進(jìn)行了可視化，可以看到論文提出的十字星變形卷積的效果符合預(yù)期，左上角點對應(yīng)的采樣點均為十字星的右下部邊界。

Instance Mask Head

為了獲取實例分割的結(jié)果，論文取soft-NMS前的檢測結(jié)果作為候選框，使用全卷積網(wǎng)絡(luò)進(jìn)行mask預(yù)測。為了保證檢測模塊能夠提供有效的候選框，先對CentripetalNet預(yù)訓(xùn)練幾輪，然后取top-k候選框進(jìn)行RoIAlign得到特征，使用連續(xù)四個卷積層提取特征，最后使用反卷積層進(jìn)行上采樣，訓(xùn)練時對每個候選框進(jìn)行交叉熵?fù)p失：

Experiment

完整的損失函數(shù)為：

和跟CornerNet定義的一樣，為預(yù)測框損失和角點偏移損失，設(shè)置為0.005。

目標(biāo)檢測性能對比。

實例分割性能對比。

CornerNet/CenterNet/CentripetalNet可視化對比。

Conclusion

CentripetalNet的核心在于新的角點匹配方式，額外學(xué)習(xí)一個向心偏移值，偏移值足夠小的角點即為匹配，相對于embedding向量的匹配方式，這種方法更為魯棒，解釋性更好。另外論文提出的十字星變形卷積也很好地貼合角點目標(biāo)檢測的場景，增強角點特征。

責(zé)任編輯：lq