本文介紹一篇實(shí)時(shí)性好準(zhǔn)確率高的論文：CornerNet-Lite。該論文由普林斯頓大學(xué)幾位學(xué)者提出。目前CornerNet-Lite被認(rèn)為是目標(biāo)檢測(cè)（Object Detection）中 FPS和mAP trade-off的最佳算法。

之所以說(shuō)：“吊打YOLOv3”，因?yàn)镃ornerNet-Lite在FPS和mAP上都超過(guò)了YOLOv3，具體詳見(jiàn)下文介紹。

《CornerNet-Lite: Efficient Keypoint Based Object Detection》

摘要

基于關(guān)鍵點(diǎn)的方法是目標(biāo)檢測(cè)中相對(duì)較新的范例，消除了對(duì)anchor boxes的需求并提供了簡(jiǎn)化的檢測(cè)框架?；贙eypoint的CornerNet在單級(jí)（single-stage）檢測(cè)器中實(shí)現(xiàn)了最先進(jìn)的精度。然而，這種準(zhǔn)確性來(lái)自高處理代價(jià)。在這項(xiàng)工作中，團(tuán)隊(duì)解決了基于關(guān)鍵點(diǎn)的高效目標(biāo)檢測(cè)問(wèn)題，并引入了CornerNet-Lite。

CornerNet-Lite是CornerNet的兩種有效變體的組合：CornerNet-Saccade，它使用注意機(jī)制消除了對(duì)圖像的所有像素進(jìn)行徹底處理的需要，以及引入新的緊湊骨干架構(gòu)的CornerNet-Squeeze。

這兩種變體共同解決了有效目標(biāo)檢測(cè)中的兩個(gè)關(guān)鍵用例：在不犧牲精度的情況下提高效率，以及提高實(shí)時(shí)效率的準(zhǔn)確性。CornerNet-Saccade適用于離線處理，將CornerNet的效率提高6.0倍，將COCO的效率提高1.0％。

CornerNet-Squeeze適用于實(shí)時(shí)檢測(cè)，提高了流行的實(shí)時(shí)檢測(cè)器YOLOv3的效率和準(zhǔn)確性（CornerNet-Squeeze為34ms|34.4mAP；COCO上YOLOv3為39ms|33mAP）。

這些貢獻(xiàn)首次共同揭示了基于關(guān)鍵點(diǎn)的檢測(cè)對(duì)于需要處理效率的應(yīng)用的潛力。

背景

CornetNet 在 ECCV 2018 （oral）上橫空出世，引領(lǐng)一波基于關(guān)鍵點(diǎn)的目標(biāo)檢測(cè)狂潮（最近anchor-free盛行），但這類算法（很多one-stage）也有缺點(diǎn)。雖然mAP有很大提升，但速度上都遠(yuǎn)不能達(dá)到實(shí)時(shí)（有些論文就避而不談FPS了）。這其實(shí)可以看成學(xué)術(shù)階段的成果，但距離落地應(yīng)用還有一點(diǎn)距離。

而 本文CornetNet-Lite 是對(duì)CornetNet進(jìn)行優(yōu)化，提出了兩種算法：

CornerNet-Saccade

CornerNet-Squeeze

CVer作者Amusi認(rèn)為：

CornerNet-Saccade是在追求高準(zhǔn)確率(mAP)的同時(shí)，盡可能提高速度(FPS)。即準(zhǔn)確率優(yōu)先，對(duì)標(biāo)CornerNet等算法。創(chuàng)新點(diǎn)：引入Saccade思想

CornerNet-Squeeze是追求高實(shí)時(shí)性(FPS)的同時(shí)，盡可能提高準(zhǔn)確率(mAP)，即速度優(yōu)先，其對(duì)標(biāo)于YOLOv3等算法。創(chuàng)新點(diǎn)：引入SqueezeNet優(yōu)化思想

正文

CornerNet-Saccade

人類視覺(jué)中的 Saccades（掃視運(yùn)動(dòng)）是指用于固定不同圖像區(qū)域的一系列快速眼動(dòng)。在目標(biāo)檢測(cè)算法中，我們廣義地使用該術(shù)語(yǔ)來(lái)表示在推理期間選擇性地裁剪（crop）和處理圖像區(qū)域（順序地或并行地，像素或特征）。

CornerNet-Saccade中的saccades是single type and multi-object。CornerNet-Saccade檢測(cè)圖像中可能的目標(biāo)位置周圍的小區(qū)域內(nèi)的目標(biāo)。它使用縮小后的完整圖像來(lái)預(yù)測(cè)注意力圖和粗邊界框；兩者都提出可能的對(duì)象位置，然后，CornerNet-Saccade通過(guò)檢查以高分辨率為中心的區(qū)域來(lái)檢測(cè)目標(biāo)。它還可以通過(guò)控制每個(gè)圖像處理的最大目標(biāo)位置數(shù)來(lái)提高效率。具體流程如下圖所示。

CornerNet-Saccade設(shè)計(jì)了一種新的backbone：Hourglass-54（含3個(gè)hourglass模塊，深度為54）。原CornerNet中使用的是Hourglass-104（含2個(gè)hourglass模塊，深度為54）。

注：crop在CornerNet-Saccade中作用非常大

CornerNet-Squeeze

與專注于subset of the pixels以減少處理量的CornerNet-Saccade相比，而CornerNet-Squeeze探索了一種減少每像素處理量的替代方法。在CornerNet中，大部分計(jì)算資源都花在了Hourglass-104上。

Hourglass-104由殘差塊構(gòu)成，其由兩個(gè)3×3卷積層和跳連接（skip connection）組成。盡管Hourglass-104實(shí)現(xiàn)了很強(qiáng)的性能，但在參數(shù)數(shù)量和推理時(shí)間方面卻很耗時(shí)。為了降低Hourglass-104的復(fù)雜性，本文將來(lái)自SqueezeNet和MobileNets 的想法融入到 lightweight hourglass 架構(gòu)中。

主要操作是：

受SqueezeNet啟發(fā)，CornerNet-Squeeze將residual block 替換為SqueezeNet中的Fire module

受MobileNet啟發(fā)，CornerNet-Squeeze將第二層的3x3標(biāo)準(zhǔn)卷積替換為 3x3 深度可分離卷積（depth-wise separable convolution）

具體如下表所示：

實(shí)驗(yàn)結(jié)果

開(kāi)源代碼是基于PyToch1.0.0，在COCO數(shù)據(jù)集上進(jìn)行測(cè)試。測(cè)試硬件環(huán)境為：1080ti GPU + Intel Core i7-7700k CPU。

One-stage算法性能比較

CornerNet-Saccade算法性能比較

可見(jiàn)Hourglass-54要強(qiáng)于Hourglass-104，另外gt attention對(duì)漲點(diǎn)幫助很大

CornerNet-Squeeze算法性能比較

見(jiàn)證奇跡的時(shí)候來(lái)了！CornerNet-Squeeze吊打YOLOv3，因?yàn)榧词故?a href="http://www.nxhydt.com/soft/data/21-24/" target="_blank">C語(yǔ)言版本的YOLOv3，都已被全方位（mAP+FPS）超過(guò)。

注：日常期待一下YOLOv4，畢竟YOLOv3已經(jīng)是去年3月的"老人"了。