你知道3D運動雕塑嗎？MIT、Google和UC Berkeley的研究人員創建了一個名為MoSculp的AI系統，只需視頻輸入，利用AI檢測人體2D圖像并恢復成3D模型，就能創造出超現實主義的3D運動雕塑。

雕塑大家都認識，3D電影想必大家也都看過，但你知道3D運動雕塑嗎？

簡單地說，這是一種獨特的展示人體如何運動的方式。3D運動雕塑（3D motion sculpture）可以將任何物體的移動路徑形成3D視圖，物體的形狀、運動軌跡都會影響最后的效果。

將雕塑和3D這兩種藝術混合起來的這些作品，是由MIT計算機科學與人工智能實驗室、Google Research以及加州大學伯克利分校的研究人員共同創造的。他們利用AI系統產生了這些超現實主義的運動與姿勢的混合。

作為輸入的運動影像

創作3D運動雕塑

這個系統被稱為MoSculp，在論文《MoSculp：形狀和時間的交互式可視化》中有詳細描述。該論文將于下個月在德國柏林的用戶界面軟件與技術大會（UIST）上發表。

論文的第一作者、MIT博士生張修明（Xiuming Zhang）認為，這一技術可以用來為想要提高技能的運動員提供詳細的運動研究。

3D運動雕塑可用作運動研究

張修明說：“想象一下，你有一段費德勒在網球比賽中發球的視頻，還有一段你自己練習打網球的視頻。你可以用MoSculp創建兩種場景的運動雕塑，然后進行對比，更全面地研究你需要改進的地方。”

具體來說，這個系統的工作有多個步驟：

首先，MoSculp能夠檢測人體及其2D姿態，利用的是CMU感知計算實驗室開發的多人關鍵點實時檢測庫OpenPose，估計每個幀中的關鍵點（踝關節，肘關節，髖關節等）。

自動檢測關鍵點

接下來，MoSculp將2D姿態恢復成一個3D人體模型，展現人體的整體形狀和人體隨時間運動的姿態。

AI通過3D空間掃描這個模型，以創建初始運動雕塑，但正如研究人員指出的那樣，這個模型缺乏紋理和結構細節，比如精細的面部結構、頭發和衣服。

有沒有聰明的解決方案呢？

研究人員提出將雕塑插入到原始視頻中，而不是將3D內容從視頻映射到場景中。

為了防止出現偽影和遮擋，MoSculp估計出每個幀中人物和雕塑的深度圖（depth map），并將兩者進行比較，以確定人是比雕塑更接近攝像機還是更原理攝像機。

然后，MoSculp從所有幀中提取主體的前景蒙版，以細化初始深度圖。

原始視頻

估計模型

以下是該系統在實踐中的工作原理：

將視頻加載到系統后，MoSculp將檢測到的關鍵點覆蓋在輸入幀上，并通過幾個隨機選擇的幀來驗證。（內置的校正工具可以讓用戶在必要時進行調整。）在對“暫時不一致的檢測”進行校正后，它會生成運動雕塑，并將其加載到自定義界面中。

在MoSculp中，用戶可以在雕塑周圍導航，或使用3D打印機進行打印。系統提供工具允許用戶自定義材料、身體部位、場景背景、光照條件和其他美學特征。

MoSculp的界面

目前，MoSculp只使用于單個主體的視頻，不過研究團隊希望將其擴展到多人。未來，他們認為這個系統可以用來研究社會障礙、團隊動力和人際互動等。

“舞蹈和高技能運動通常看起來像'移動的雕塑'，但它們只能形成稍縱即逝的短暫形狀，”Adobe傳播負責人Courtney Brigham說。

“這項工作展示了如何利用動作，并將動作轉換為具有客觀運動可視化的真實雕塑，為運動員提供了一種分析他們的訓練動作的方式，而且成本只需一臺運動相機和一些計算時間。”