近些年來，深度卷積神經網絡（DCNN）在圖像分類和識別上取得了很顯著的提高。回顧從2014到2016這兩年多的時間，先后涌現出了R-CNN，Fast R-CNN, Faster R-CNN, ION, HyperNet, SDP-CRC, YOLO,G-CNN, SSD等越來越快速和準確的目標檢測方法。

1、基于Region Proposal的方法

該類方法的基本思想是：先得到候選區域再對候選區域進行分類和邊框回歸。

1.1 R-CNN [1]

R-CNN是較早地將DCNN用到目標檢測中的方法。其中心思想是對圖像中的各個候選區域先用DCNN進行特征提取并使用一個SVM進行分類，分類的結果是一個初略的檢測結果，之后再次使用DCNN的特征，結合另一個SVM回歸模型得到更精確的邊界框。

其中獲取候選區域的方法是常用的selective search。 一個圖形中可以得到大約2000個不同大小、不同類別的候選區域，他們需要被變換到同一個尺寸以適應CNN所處理的圖像大小（227x227）。

該文章中使用的CNN結構來自AlexNet,已經在ImageNet數據集上的1000個類別的分類任務中訓練過，再通過參數微調使該網絡結構適應該文章中的21個類別的分類任務。

該方法在VOC 2011 test數據集上取得了71.8%的檢測精度。該方法的缺點是：1，訓練和測試過程分為好幾個階段：得到候選區域，DCNN 特征提取, SVM分類、SVM邊界框回歸，訓練過程非常耗時。2，訓練過程中需要保存DCNN得到的特征，很占內存空間。3， 測試過程中，每一個候選區域都要提取一遍特征，而這些區域有一定重疊度，各個區域的特征提取獨立計算，效率不高，使測試一幅圖像非常慢。

1.2 Fast R-CNN[2]

在R-CNN的基礎上，為了使訓練和測試過程更快，Ross Girshick 提出了Fast R-CNN，使用VGG19網絡結構比R-CNN在訓練和測試時分別快了9倍和213倍。
其主要想法是:
1）對整個圖像進行卷積得到特征圖像而不是對每個候選區域分別算卷積；
2）把候選區域分類和邊框擬合的兩個步驟結合起來而不是分開做。
原理圖如下：

公式中的兩項分別是classification loss 和regression loss。該方法相比于R-CNN快了不少。特別是在測試一幅新圖像時，如果不考慮生成候選區域的時間，可以達到實時檢測。生成候選區域的selective search算法處理一張圖像大概需要2s的時間，因此成為該方法的一個瓶頸。

1.3 Faster R-CNN[3]

上面兩種方法都依賴于selective search生成候選區域，十分耗時，那么可不可以直接利用卷積神經網絡得到候選區域呢？這樣的話就幾乎可以不花額外的時間代價就能得到候選區域。

Shaoqing Ren提出了Faster R-CNN來實現這種想法：假設有兩個卷積神經網絡，一個是區域生成網絡，得到圖像中的各個候選區域，另一個是候選區域的分類和邊框回歸網路。這兩個網絡的前幾層都要計算卷積，如果讓它們在這幾層共享參數，只是在末尾的幾層分別實現各自的特定的目標任務，那么對一幅圖像只需用這幾個共享的卷積層進行一次前向卷積計算，就能同時得到候選區域和各候選區域的類別及邊框。

?

使用RPN得到候選區域后，對候選區域的分類和邊框回歸仍然使用Fast R-CNN。這兩個網絡使用共同的卷積層。 由于Fast R-CNN的訓練過程中需要使用固定的候選區域生成方法，不能同時對RPN和Fast R-CNN使用反向傳播算法進行訓練。
該文章使用了四個步驟完成訓練過程：
1）單獨訓練RPN；
2）使用步驟中1得到的區域生成方法單獨訓練Fast R-CNN;
3）使用步驟2得到的網絡作為初始網絡訓練RPN。
4）再次訓練Fast R-CNN, 微調參數。

Faster R-CNN的精度和Fast R-CNN差不多，但是訓練時間和測試時間都縮短了10倍。

1.4 ION: Inside-Outside Net[4]

ION也是基于Region Proposal的，在得到候選區域的基礎上，為了進一步提高在每一個候選感興趣區域ROI的預測精度，ION考慮了結合ROI內部的信息和ROI以外的信息，有兩個創新點：一是使用空間遞歸神經網絡（spatial recurrent neural network）把上下文（context）特征結合，而不是只使用ROI內的局部特征 ，二是將不同卷積層得到的特征連接起來，作為一個多尺度特征用來預測。

ION在上、下、左、右四個方向獨立地使用RNN，并把它們的輸出連接起來組合成一個特征輸出，經過兩次這樣的過程得到的特征作為上下文特征，再與之前的幾個卷積層的輸出特征連接起來，得到既包括上下文信息，又包括多尺度信息的特征。

1.5 HyperNet[5]

HyperNet在Faster R-CNN的基礎上，在得到更好的候選區域方面比Faster R-CNN中使用的RPN有了進一步的提高。其想法也是把不同卷積層得到的特征圖像結合起來，產生更好的region proposal和檢測準確率。

該文章把不同卷積層的輸出結合起來得到的特征成為Hyper Feature。由于不同卷積層的輸出大小不一樣，較淺層的特征圖像分辨率較高，對提高邊界框的精確性有益，但是容易對邊界框內的物體錯誤分類；較深層得到的特征圖像分辨率很低，對小一些的物體的邊界框定位容易不準確，但這些特征更加抽象，可以讓對物體的分類的準確性更高。因此二者的結合，對目標檢測的正確率和定位精度都有幫助。

1.6SDP-CRC[6]

SDP-CRC在處理不同尺度的目標和提高對候選區域的計算效率上提出了兩個策略。第一個策略是基于候選區域尺度的池化，即Scale Department Pooling （SDP）。在CNN的框架中，由于輸入圖像要經過多次卷積，那些尺寸小的物體在最后一層的卷積輸出上的特征不能很好的描述該物體。如果用前面某一層的特征，則能夠更好的描述小物體，用靠后的層的特征，則能更好地描述較大的物體。

因此SDP的想法是根據物體大小選擇合適的卷積層上的特征來描述該物體。例如一個候選區域的高度在0-64個像素之間，則使用第三個卷積層上(例如VGG中的Conv3)的特征進行pooling作為分類器和邊框回歸器的輸入特征，如果候選區域高度在128個像素以上，則使用最后一個卷積層(例如VGG中的Conv5)的特征進行分類和回歸。

第二個策略是使用舍棄負樣本的級聯分類器，即Cascaded Rejection Classifer， CRC。Fast RCNN的一個瓶頸是有很多的候選區域，對成千上萬個候選區域都進行完整的分類和回歸計算十分耗時。CRC可以用來快速地排除一些明顯不包含某個物體的候選區域，只將完整的計算集中在那些極有可能包含某個物體的候選區域。該文章中使用了AdaBoost的方法，按順序使用每一個卷積層的特征，由一些級聯的弱分類器來排除負樣本。在最后一層卷積的特征圖像上，留下來的那些候選區域再進行分類和回歸。

SDP-CRC的準確率比Fast RNN提高了不少，檢測時間縮短到了471ms每幀。