三維全身人體網格重建（3D Whole-Body Mesh Recovery）是三維人體重建領域的一個基礎任務，是人類行為建模的一個重要環節，用于從單目圖像中捕獲出準確的全身人體姿態和形狀，在人體重建、人機交互等許多下游任務中有著廣泛的應用。

來自粵港澳大灣區研究院（IDEA）與清華大學深研院的研究者們提出了首個用于全身人體網格重建的一階段算法OSX，通過模塊感知的Transformer網絡，高效、準確地重建出全身人體網格，并提出了一個大規模、關注真實應用場景的上半身人體重建數據集UBody.

本文提出的算法從投稿至今（2022.11~2023.04），是AGORA榜單SMPL-X賽道的第一名。該工作已經被計算機視覺頂會CVPR2023接收，算法代碼和預訓練模型已經全部開源。

三維全身人體網格重建（3D Whole-Body Mesh Recovery）是人類行為建模的一個重要環節，用于從單目圖像中估計出人體姿態（Body Pose）， 手勢（Hand Gesture）和臉部表情（Facial Expressions），該任務在許多下游現實場景中有著廣泛的應用，例如動作捕捉、人機交互等。得益于SMPLX等參數化模型的發展，全身人體網格重建精度得到了提升，該任務也得到越來越多的關注。

相比于身體姿態估計（Body-Only Mesh Recovery），全身人體網格重建需要額外估計手和臉部的參數，而手和臉部的分辨率往往較小，導致難以通過一個一階段的網絡，將全身參數估計出來。之前的方法大多采用多階段的復制-粘貼（Copy-Paste）框架，提前檢測出手和臉的包圍框（Bounding Box），將其裁剪出來并放大，輸入三個獨立的網絡，分別估計出身體（Body）， 手（Hand）， 和臉（Face）的參數，再進行融合。這種多階段的做法可以解決手和臉分辨率過小的問題，然而，由于三部分的參數估計相對獨立，容易導致最后的結果以及三部分之間的連接不夠自然和真實，同時也會增加模型的復雜度。為了解決以上問題，我們提出了首個一階段的算法OSX，我們使用一個模塊感知的Transformer模型，同時估計出人體姿態， 手勢和臉部表情。該算法在較小計算量和運行時間的情況下，在3個公開數據集（AGORA， EHF， 3DPW）上，超過了現有的全身人體網格重建算法。

我們注意到，目前的全身人體網格重建數據集，大部分是在實驗室環境或者仿真環境下采集的，而這些數據集與現實場景有著較大的分布差異。這就容易導致訓練出來的模型在應用于現實場景時，重建效果不佳。此外，現實中的許多場景，如直播、手語等，人往往只有上半身出現在畫面中，而目前的數據集全部都是全身人體，手和臉的分辨率往往較低。為了彌補這方面數據集的缺陷，我們提出了一個大規模的上半身數據集UBody，該數據集涵蓋了15個真實場景，包括100萬幀圖片和對應的全身關鍵點（2D Whole-Body Keypoint）， 人體包圍框（Person BBox）、人手包圍框（Hand BBox）以及SMPLX標簽。下圖是UBody的部分數據可視化。

圖1 UBody數據集展示

本工作的貢獻點可以概括為：

我們提出了首個一階段的全身人體網格重建算法OSX，能夠用一個簡單、高效的方式，估計出SMPLX參數。

我們的算法OSX在三個公開數據集上，超過了現有的全身人體網格重建算法。

我們提出了一個大規模的上半身數據集UBody，用以促進全身人體網格重建這個基礎任務在現實場景中的應用。

2. 一階段重建算法介紹

2.1 OSX整體框架

如下圖所示，我們提出了一個模塊感知（Component-Aware）的Transoformer模型，來同時估計全身人體參數，再將其輸入SMPLX模型，得到全身人體網格。我們注意到，身體姿態（Body Pose）估計需要利用到全局的人體依賴信息，而手勢（Hand Gesture）和臉部表情（Facial Expression）則更多的聚焦于局部的區域特征。因而，我們設計了一個全局編碼器和一個局部解碼器，編碼器借助于全局自注意力機制（Global Self-attention），捕獲人體的全身依賴關系，估計出身體姿態和形狀（Body Pose and Shape），解碼器則對特征圖進行上采樣，使用關鍵點引導的交叉注意力機制（Cross-Attention），用以估計手和臉部的參數。

圖2 OSX網絡結構示意圖

2.2 全局編碼器

在全局編碼器中，人體圖片首先被切為多個互不重蛩的塊，這些塊通過一個卷積層，加上位置編碼，轉換為特征令牌（Feature Token） ，接著，我們再將其與若干個由可學習參數構成的人體令牌（Body Token） 進行連接，輸入全局編碼器。全局編碼 器由多個Transformer塊組成，每個塊包含一個多頭自注意力、一個前饋網絡和兩個層歸一化模塊（Layer Normization）。 經過這些 塊之后，人體各個部分之間的信息得到了交互，body token 捕捉了人體的全身依賴關系，輸入全連接層，回歸出人體姿態和 形狀。 Feature token則進行重組（Reshape），轉換為特征圖，供解碼器使用。

2.3 高分辨率局部解碼器

在解碼器中，我們首先對特征圖進行上采樣，以解決手和臉分辨率過低的問題。具體的，我們使用一個可微分的感興趣區域對齊 （Region of Interest Alignment）操作，將手和臉部的特征圖進行上采樣，因而獲得多尺度的手、臉高分辨率特征 。接著，我們定義多個模塊令牌（Component Token） ，每一個token代表一個關鍵點，將這些token輸入解碼器，通過關鍵點 引導的交叉注意力機制，從高分辨率特征中捕獲有用的信息，更新Component Token：

最終，這些模塊token通過全連接層，轉換為手勢和臉部表情，并與身體姿態和形狀一起，輸入SMPLX模型，轉換為人體網格。

3. 上半身數據集UBody介紹

3.1 數據集亮點

為了縮小全身人體網格重建這一基礎任務與下游任務的差異，我們從15個現實場景，包括音樂演奏、脫口秀、手語、魔術表演等，收集了超過100萬的圖片，對其進行標注。這些場景與現有的數據集AGORA相比，由于只包含上半身，因而手和臉的分辨率更大，具有更加豐富的手部動作和人臉表情。同時，這些場景含有非常多樣的遮擋、交互、切鏡、背景和光照變化，因而更加具有挑戰性，更加符合現實場景。此外，UBody是視頻的形式，每個視頻都包含了音頻（Audio），因而未來也可以應用于多模態等任務。

圖3 UBody 15個場景展示

3.2 IDEA自研高精度全身動捕標注框架

為了標注這些大規模的數據，我們提出了一個自動化標注方案，如下圖所示，我們首先訓練一個基于ViT的關鍵點估計網絡，估計出高精度的全身人體關鍵點。接著，我們使用一個多階段漸進擬合技術（Progreesive Fitting），將OSX輸出的人體網格轉換為三維關鍵點（3D Keypoints），并投影到圖像平面，與估計的二維關鍵點（2D Keypoints）計算損失，用以優化OSX網絡參數，直至估計出來的網格與2D關鍵點能夠高度貼合。

圖4 全身動捕標注框架圖

以下是UBody數據集的15個場景及其標注結果的展示：

SignLanguage

Singing

OnlineClass

Olympic

Entertainment

Fitness

LiveVlog

Conference

TVShow

ConductMusic

Speech

TalkShow

MagicShow

4. 實驗結果

4.1 定量實驗對比

OSX從投稿至今（2022.11~2023.04），是AGORA榜單上SMPLX賽道的榜首，在AGORA-test （https://agora-evaluation.is.tuebingen.mpg.de/）上的定量對比結果如下表所示：

表1 OSX與SOTA算法在AGORA-test上的定量結果

在AGORA-val上的定量對比結果如下表所示：

表2 OSX與SOTA算法在AGORA-val上的定量結果

在EHF和3DPW的定量結果如下：

表3 OSX與SOTA算法在EHF及3DPW上的定量結果

可以看出，OSX由于使用了模塊感知的Transformer網絡，能夠同時保證全局依賴關系的建模和局部特征的捕獲，在現有數據集，特別是AGORA這一較為困難的數據集上，顯著超過了之前的方法。

4.2 定性實驗對比

在AGORA上的定性對比結果如圖所示：

從左到右依次為：輸入圖， ExPose， Hand4Whole， OSX（Ours）

在EHF上的定性對比結果如圖所示：

從左到右依次為：輸入圖， ExPose， Hand4Whole， OSX（Ours）

在UBody數據集上的對比結果如圖所示：

從左到右依次為：輸入圖， ExPose， Hand4Whole， OSX（Ours）

可以看出，我們的算法OSX能夠估計出更加準確的身體姿勢，手部動作和臉部表情，重建出來的人體網格更加準確，與原圖貼合的更好，更加魯棒。

5. 總結

OSX是首個一階段全身人體網格重建的算法，通過一個模塊感知的Transformer模型，同時估計了body pose， hand pose和facial experssion，在三個公開榜單上取得了目前最好whole-body mesh recovery最好的結果。此外，我們提出了一個大規模的上半身場景數據集UBody，用以促進人體網格重建任務在下游場景中的應用。我們的代碼已經進行了開源，希望能夠推動該領域的發展。

審核編輯 ：李倩