【導讀】6 月 16--20 日，計算機視覺與模式識別領域頂會 CVPR 2019 在美國長灘舉行。每年的 CVPR 盛會除了精彩的論文分享、Workshop 與 Tutorial，還會舉辦多場涵蓋計算機視覺各子領域的專項比賽，競爭亦是非常激烈。在此次人體姿態估計和人體分割比賽中，字節跳動的兩個團隊榜上有名，收獲兩個冠軍、一個亞軍。

關于 LIP 競賽

“Look Into Person”（以下簡稱 LIP ）國際競賽擁有大規模的人體姿態圖像數據庫、公平嚴格的評審標準以及國際性的競賽影響力。本屆 LIP 國際競賽吸引了超過 75 支隊伍參加，包括加州伯克利大學、NHN、悉尼科技大學、東南大學、上海交通大學、中國電子科技大學、香港中文大學等全球高校以及三星、字節跳動、百度、京東等科技企業的人工智能研究院機構；包括五個競賽任務，分別是：

• 單人人體解析分割（ the single-person human parsing）

• 單人人體姿態估計（ the single-person pose estimation）

• 多人人體解析（the multi-person human parsing）

• 基于視頻的多人人體解析（multi-person video parsing, multi-person pose estimation benchmark）

• 基于圖像的服裝試穿（clothes virtual try-on benchmark）

今年的 LIP 國際競賽上，字節跳動人工智能實驗室拿下了兩個國際冠軍和一個國際亞軍。由字節跳動和東南大學組成的團隊、以及肖斌帶領的字節跳動團隊并列單人人體姿態估計比賽的國際冠軍；同時，字節跳動和東南大學組成的團隊同時還獲得了單人人體分割賽道的國際亞軍。

在單人人體姿態估計比賽中，兩個隊伍都刷新了去年的最好成績。其中，由字節跳動和東南大學組成的團隊提出了基于增強通道和空間信息的人體姿態估計網絡，參考 CVPR 2019 論文《Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information》。

傳送門：

https://arxiv.org/abs/1905.03466

肖斌團隊則提出利用高分辨率網絡（HRNet）來解決人體姿態估計問題，參考 CVPR 2019 論文《Deep High-Resolution Representation Learning for Human Pose Estimation》。目前該論文的算法已經在 Gituhub 上開源，放地址：

傳送門：

https://github.com/leoxiaobin/deep-high-resolution-net.pytorch

下面為大家詳細介紹兩支冠軍團隊的工作。

技術解讀（一）

字節跳動和東南大學組成的團隊提出了基于增強通道和空間信息的人體姿態估計網絡，論文《Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information》的一作蘇凱是來自東南大學模式識別與挖掘實驗室（PALM）碩士生三年級，師從東南大學耿新教授。目前在字節跳動人工智能實驗室實習，導師是喻冬東博士（共同一作）和王長虎博士。

• 介紹

人體姿態估計旨在定位出圖片中人的關鍵身體部位，例如手臂、軀干以及面部的關鍵點等等。對于行為識別、人體再識別等諸多計算機任務來說，人體姿態估計是一項基礎且極具挑戰的課題。由于人與人之間的密切交互、遮擋以及不同尺度人體等因素影響，獲取準確的定位結果仍然具有困難。

• 創新點

首先，在卷積神經網絡中，高層特征往往具有更大的感受視野，所以它們對于復雜場景下的遮擋點、不可見點的推斷更有幫助。另一方面，卷積神經網絡的低層特征往往具有更大的分辨率，所以它們對于關鍵點的精細調整更加有效。然而，在現實場景中，高低層特征之間權衡往往復雜多變。因此，論文提出通道交流模塊來促進不同分辨率層特征之間的跨通道信息交流。通道交流模塊的目的是通過網絡自學習來校準高低層特征之間的相互補充和強化。

其次，特征融合的過程是動態多變的，融合后的特征往往也存在許多冗余。網絡中那些對姿態估計任務更加有效的特征信息應該被自適應地突顯出來。因此，論文提出基于空間和通道注意力機制的殘差模塊，自適應地從空間和通道兩個維度增強剛剛融合后的金字塔特征信息。

• 實驗

論文采用人體關鍵點檢測的最權威數據集之一 MS COCO（多人人體姿態數據集）。論文的 baseline 采用 Cascaded Pyramid Network（CVPR 2018）。論文首先在 MS COCO 進行消融實驗，以驗證各個模塊的重要性。

表3 可以看出，在只使用通道交流模塊，組數設置為 4（CSM-4）的情況下，在 COCO minival 數據集的結果可以由 69.4 提升到 71.7。在只使用空間通道注意力殘差模塊的情況下，結果可以由 69.4 提升到 70.8。同時使用兩種模塊，結果進一步提升到 72.1。

其次，論文在 COCO minival（表4）和 test-dev（表5）數據集對比了性能最先進的一些網絡和結果，均取得了優異的超越。

技術解讀（二）

另一個冠軍隊伍——肖斌帶領的字節跳動團隊則提出了利用高分辨率網絡（HRNet）來解決人體姿態估計問題，以下是技術解讀。

通用的單人體姿態識別的框架通常為：給定單人圖片作為輸入，通過 CNN（Convolutional Neural Network）得到高分辨率的人體關鍵帶的熱點圖片，最后通過在熱點圖片中尋找最大極值點，得到人體關鍵點坐標。

在介紹 LIP 比賽使用的 HRNet（High Resolution Network）之前，我們先回顧一下人體姿態識別常用的網路結構。

• 回顧常用的人體姿態識別網絡

首先，先介紹一下人體姿態識別的經典網絡 Stack-Houglass[1]，Stack-Hourglass 由普林斯頓大學教授 Jia Deng 團隊首先提出，Stack-Hourglass 網路由多個 stage 組成，每個 stage，遵循從低語義高分辨率特征圖到高語義低分辨率特征圖，然后由高語義低分辨率的特征圖通過上采樣恢復出高分辨率的特征圖的串行結構，同時低語義的高分辨率的特征通過跳連結和深層的恢復的高分辨率融合。

在 2018 年，COCO 人體關鍵點比賽中，曠視團隊提出了 CPN 網絡（Cascaded Pyramid Network）[2]，獲得 COCO 人體姿態識別的冠軍。CPN 網絡使用 ResNet 作為骨干網路，采用了類似特征金字塔的結構來生成高分辨的人體姿態關鍵點熱點圖。CPN 主干網路也是遵循從高分辨率特征到低分辨率特征的串行結構，最后通過跳連結構以及上采樣操作，得到最終的高分辨率的熱點特征圖。

2018 ECCV 會議上，在人體姿態關鍵點檢測任務中，微軟亞洲研究院提出了一種通過三層級聯的反卷積方法——Simple Baseline[3]，來解碼 ResNet 主干網路的低分辨率特征。這個方法很簡單，但在人體關鍵點識別任務中取得了非常不錯的成績。Simple Baseline 的方法也遵循了從高分率到低分辨率學習，然后從低分辨率特征恢復高分辨特征的原則。

到這里總結一下，我們可以看出在人體關鍵點識別任務中，人體姿態識別的網路有以下幾大特征：

（1）網絡設計的結構都遵循從高分辨率到低分辨率的串行連接結構；

（2）高分辨率的人體姿態高分辨率熱點圖，都需要從低分辯的特征圖恢復得到；

（3）通常，恢復的高分辨率特征圖需要融合淺層的高分辨特征圖。

• 為什么選擇 HRNet？

我們認為在人體關鍵點檢測任務中，是需要一個更強的高分辨表達的特征圖，從技術路線上不應該只局限在從低分辨率特征來恢復或解碼高分辨率特征這一種路線上，而應該直接通過網路來學習高分辨率的特征表達。

因此，我們選擇了一種高分辨率表達的網路（High-Resolution Network，HRNet）[4]來做人體關鍵點檢測任務。HRNet 在網路整個過程中維持或學習高分辨率的特征，漸進的增加低分辨率的的分支，并且通過特征交換模塊，多次進行高分辨率和低分辨率的特征交換，從而學到足夠豐富的高分辨率特征。

• HRNet 的與眾不同之處

通過對比我們可以看到 HRNet 和之前的網絡具有很大的不同：

首先，HRNet 的高分辨率特征和低分辨率特征是并行連接。其次，HRNet 始終會學習一個高分辨率的特征表達。最后，HRNet 是通過多次的高分辨率特征和低分辨率特征的交換，來進一步增強高分辨率特征的學習。通過這種方式，HRNet 可以學到更強的高分辨率的特征表達。

HRNet 不僅在 LIP 人體姿態識別任務中取得了冠軍的結果。在其他人體姿態識別的數據集上如 COCO 關鍵點檢測任務，PoseTrack 人體姿態識別以及跟蹤任務，MPII 人體字體識別任務中都得到了 State-of-the-art 的結果。