區域建議網絡（RPN）首先在faster rcnn中提出。

得到用來預測的feature map

圖片在輸入網絡后，依次經過一系列卷積+ReLU得到的51×39×256維feature map，準備后續用來選取proposal。

生成Anchors

anchor是固定尺寸的bbox。具體做法是：把feature map每個點映射回原圖的感受野的中心點當成一個基準點，然后圍繞這個基準點選取k個不同的尺寸和比例的anchor。對于W×H大小的卷積feature map（通常為2400），總共有W×H×k個錨點。默認使用3個尺度和3個縱橫比，在每個滑動位置上產生k=9個anchor。在feature map上的每個特征點預測多個region proposals。例如對于像素點個數為 51×39 的一幅feature map上就會產生 51×39×9 個候選框。雖然anchors是基于卷積特征圖定義的，但最終的 anchors是相對于原始圖片的。

圖1 九個候選框（anchor）示意圖

針對該像素點的每個候選框需要判斷其是不是目標區域，如果是目標區域，其邊框位置如何確定，具體過程如圖2所示，在RPN頭部 ，通過以下結構生成 k個anchor。

圖 2 RPN 過程示意圖

如圖2所示，針對特征圖中的某一個位置的像素點，對應會有9個候選框。因為輸入RPN中有256個通道的特征圖，所以要同時對每個通道該位置的像素點都使用不同的3×3的滑動窗口進行卷積，最后將所有通道得到的該位置像素點的卷積值都加起來，得到一個新的特征值，最終使用256組這樣的3×3的卷積核，就會得到一個新的256維的向量，這個256維的向量就是用來預測該位置的像素點的，該像素點對應的9個候選框共享這256維向量。

256維向量后面對應兩條分支，一條目標和背景的二分類（classification），通過1×1×256×18的卷積核得到 2k 個分數，k等于候選框的個數9，表示這9個anchor是背景的score和anchor是目標的score。如果候選框是目標區域，就去判斷該目標區域的候選框位置在哪，這個時候另一條分支就過1×1×256×36的卷積核得到4k個坐標，每個框包含4個坐標（x，y，w，h），就是9個候選區域對應的框應該偏移的具體位置Δxcenter,Δycenter,Δwidth,Δheight。如果候選框不是目標區域，就直接將該候選框去除掉，不再進行后續位置信息的判斷操作。

分類分支

考察訓練集中的每張圖像（含有人工標定的gt box） 的所有anchor劃分正負樣本：

（1）對每個標定的gt box區域，與其重疊比例最大的anchor記為正樣本，保證每個gt至少對應一個正樣本anchor

（2）對（1）中剩余的anchor，如果其與某個標定區域重疊比例大于0.7，記為正樣本（每個gt可能會對應多個正樣本anchor。但每個正樣本anchor只可能對應一個gt；如果其與任意一個標定的重疊比例都小于0.3，記為負樣本。

回歸分支

x,y,w,h分別表示box的中心坐標和寬高，x, x_a ,x分別表示predicted box, anchor box, and ground truth box （y,w,h同理）t_i表示predict box相對于anchor box的偏移，t_i表示ground true box相對于anchor box的偏移，學習目標就是讓前者接近后者的值。

在 RPN中部，分類分支（cls）和邊框回歸分支（bbox reg）分別對這堆anchor進行各種計算。在RPN末端，通過對兩個分支的結果進行匯總，來實現對anchor的初步篩除（先剔除越界的anchor，再根據cls結果通過非極大值抑制（NMS）算法去重）和初步偏移（根據bbox reg結果），此時輸出的都bbox改頭換面叫 Proposal 了

偏移公式如下。An就是anchor的框，pro就是最終得出回歸后的邊界框，到這里我們的proposals就選好了：

非極大值抑制(Non-maximum suppression)

由于anchor一般是有重疊的overlap，因此，相同object的proposals也存在重疊。為了解決重疊proposal問題，采用NMS算法處理：兩個proposal間IoU大于預設閾值，則丟棄score較低的proposal。

IoU閾值的預設需要謹慎處理，如果IoU值太小，可能丟失objects的一些 proposals；如果IoU值過大，可能會導致objects出現很多proposals。IoU典型值為0.6。

Proposal選擇

NMS處理后，根據sore對top N個proposals排序。在Faster R-CNN論文中 N=2000，其值也可以小一點，如50，仍然能得到好的結果。

審核編輯：湯梓紅