近日，南開大學媒體計算實驗室提出的最新邊緣檢測和圖像過分割（可用于生成超像素）被 IEEE PAMI 錄用。研究的第一作者也發微博稱：“這是第一個在最廣泛使用的圖像分割數據集 BSD500 上 F-Measure 評價值超越數據集本身人工標注平均值的實時算法。圖像分割效果也刷新了精度記錄。其算法也已經開源。”

先對各位作者進行簡單的介紹：

一作 劉云，目前在實驗室內攻讀博士學位，他的博導也是程明明老師。從劉博士發布過的論文成果列表中可以看到，他在 CVPR、ICCV、ECCV 上都有投過論文。

論文的第二作者——程明明老師。2012 年博士畢業于清華大學，之后在英國牛津從事計算機視覺研究，并于 2014 年回國任教，2016 年起任南開大學教授，國家“萬人計劃”青年拔尖人才，首批天津市杰出青年基金獲得者。其主要研究方向包括：計算機圖形學、計算機視覺、圖像處理等。已在 IEEE PAMI, ACM TOG 等 CCF-A 類國際會議及期刊發表論文 30 余篇。

三作 胡曉偉。四作 邊佳旺，目前就職于華為media computing Lab。這四位作者都來自于南開大學媒體計算實驗室。另外三位作者為 Le Zhang（南洋理工大學，ADSC）、Xiang Bai（華中科技大學，HUST）、唐金輝（南京理工大學，NUST）

下面 AI科技大本營就為大家分析講解這個算法。先把相關介紹和開源地址分享給大家：

https://mmcheng.net/zh/rcfedge/

http://mftp.mmcheng.net/Papers/19PamiEdge.pdf

https://github.com/yun-liu/rcf

在計算機視覺領域，邊緣檢測屬于一個經典問題。在近期的研究中，卷積神經網絡（CNN）方法已經顯著的推動該領域的發展。現有的方法，由于使用特定層數的卷積神經網絡，可能無法成功提取復雜的數據模型，其中這些數據會隨著圖像尺度和縱橫比進行變化。在本文中，我們提出了一種使用更豐富的卷積特征（Richer convolution features, RCF）的精準邊緣檢測方法。

RCF 方法將所有卷積特征封裝成一種更具判別性的表達，這樣就可以很好地利用豐富的特征層次結構，并且該方法也可以通過反向傳播進行訓練。RCF 方法充分利用目標的多尺度和多級信息來實現圖像到圖像（image-to-image）的預測。

程明明老師在他的微博中分享說：”這里面最核心的是 Richer feature： 每個 stage 里面的所有 conv 層都是有用的，而不是傳統只要每個 stage 的最后一個 conv 層。這是很通用的技巧，基本上干什么任務都用得著，而且改幾行代碼就能實現。“

（來源：程明明老師的個人微博）

使用 VGG16 網絡，我們的方法在幾個公共數據集上有最好的性能（state-of-the-art）。在BSDS500基準數據集上進行測試評估時，F-Measure分數（F-measure）我們取得了 0.811 的成績，并同時獲得了8 FPS的速度。此外，快速版的 RCF 方法取得了 0.806 分和 30 FPS 的速度。為了證明所提出方法的多功能性，我們還將 RCF 檢測的邊緣應用于圖像分割問題。

我們構建了一個基于 VGG16 的簡單神經網絡，以得到 conv3_1，conv3_2，conv3_3，conv4_1，conv4_2 和 conv4_3 這幾層每層的輸出。通過上圖，可以清楚地看到卷積特征逐漸變得粗糙，并且中間層 conv3_1，conv3_2，conv4_1 和 conv4_2包含許多有用的精確細節，而這些細節沒有在其他層中出現。

上圖展示的是 RCF 網絡架構。網絡的輸入是具有任意大小的圖像，而網絡的輸出是具有相同大小的邊緣檢測圖。我們將每個卷積層的層次特征組合成一個整體框架，而其中的所有參數都是可以訓練學習的。由于 VGG16 中卷積層的感受野大小彼此不同，因此我們的網絡可以學習多尺度，包括低尺度和對象級的信息，而這些信息將有助于邊緣檢測。

上圖是該多尺度算法的管道圖。調整原始圖像的大小以構建圖像金字塔。然后將這些多尺度圖像輸入到 RCF 網絡中進行正向傳遞。接著，我們使用雙線性插值將結果邊緣檢測圖恢復為原始大小。對這些邊緣圖進行簡單平均計算就可以輸出高質量邊緣圖。

在 BSDS500 數據集上的評估結果

上圖是超過 50 年的邊緣檢測方法性能總結。 我們的方法是第一個比人類注釋器獲得更好 F-Measure 分數的實時系統。