12月，華盛頓大學和Facebook的研究人員提交了一份最新成果：平面人物秒變3D模式，圖片中的人物可以從平面中“跑出來”，動起來。如果再結合VR技術，那么你手機照片中的任務不再只是靜態的人物，他們會穿越層層障礙，奔向你。

哈利·波特里有項魔法“黑科技”很讓我等麻瓜羨慕——照片會動甚至會從平面照片中伸出頭或者手和你互動。

本月，華盛頓大學和Facebook的三位研究人員（Chung-Yi Weng、Brain Curless、Ira Kemelmache-Shlizerman）在arXiv上發表文章，徹底將J.K.羅琳的黑魔法變成了真實的黑科技。

論文地址：https://arxiv.org/pdf/1812.02246.pdf

這三位最新開發了一項動畫制作方法和應用程序：照片動起來已是小case，這項技術可以保持照片背景不變，激活平面人物變成3D模式，直接跑出畫面奔向你。如果再結合虛擬現實技術，那么畫面中的人會真的出現在你面前。

技術效果展示

有了這項技術，那些小哥哥、小姐姐甚至動漫人物都不再只是固定在某一姿勢的靜態人物，他們會被喚醒，走出照片穿越人群，奔向你。

構建完美的可動畫化3D模型方法，讓畫中人動起來

研究人員稱這項技術為“喚醒”照片，他們甚至基于此開發了名為Photo Wake-Up的軟件。

但與電影圖譜不同的是，電影圖片是從視頻中創建的2D體驗，而最新的方法是將一張照片作為輸入，并產生完全的3D體驗。

而在此過程中最主要的挑戰是重構后的3D人物與照片中原形人物的輪廓緊密匹配，這事實上非常困難，因為身體可能被部分遮擋，通常被其他身體部分遮擋，比如有人站立時雙臂交叉在胸前，這使得機器難以直接從平面圖像中確定3D身體結構。

在此項研究中，該團隊最關鍵的貢獻就是構建了可動畫化3D模型的方法，該模型可匹配單張平面照片中的身體輪廓并處理被遮擋住的身體部位。

也有很多計算機科學團隊曾試圖解決這一問題，之前Microsoft團隊和德國Max Planck智能系統研究所開發了一種名為SMPL（Skinned Multi-Person Linear Model）的程序，Weng團隊的研究突破正是基于SMPL程序。

SMPL模型是首先需要將2D對象的人體輪廓減下來，分割人物的四肢和軀干，識別人物的骨骼點，然后將3D骨架疊加到2D形狀上，最后可以形成一種半裸的3D模型。

根據模型，可以對3D骨架進行動畫處理來創建運動感。從一定程度上，這解決了人體姿勢估計的問題。這種方法需要從正面看到從頭到腳的剪影。它可以處理某些類型的遮擋，例如身體前方的手臂，但SMPL不能處理更復雜的遮擋，比如蹺二郎腿的人。而且在SMPL中，即使將剪切的照片映射到3D骨架上，也不會產生逼真的動畫，更重要的是這種3D模型與人的衣服輪廓并不匹配。

基于SMPL模型，Weng團隊嘗試了不同的方法——他們從2D層面上開始下手，下圖就是這個方法的完整圖解：

首先讓SMPL模型匹配原始圖像中的人物輪廓，然后將SMPL模型轉成兩種映射模式：普通貼圖（normal maps，可看清輪廓）和皮膚貼圖（skinning maps，通過不同顏色區分了身體部位），將兩種貼圖合二為一后，升級到3D模式，為動畫做好準備。

該團隊的實驗成果：每個人物的左側為原圖，右為實驗結果

最后，研究人員們使用運動捕捉序列來進行動畫處理，紙片人就真的活啦！

簡單來講，就是將圖片中的人物在2D層面中實現對齊，再將其轉換成3D，然后再調整成動態，來看下效果：

團隊特別關注觀眾更容易注意到的人物頭部。他們說：“頭部姿勢的準確性對于效果漂亮的動畫很重要。” 因此，他們的算法還可以識別，諸如注視方向和頭部角度之類的特征，然后使用它來獲得身體網格頭部姿勢的精確角度。

如果結合虛擬現實技術，那么玩法會更多

這一技術目前還有一些局限性，例如，人物身上的陰影和反光尚未在此方法中建模，因此不會隨動畫移動，這可能會略顯生硬；另外，SMPL模型可能會產生不正確的3D姿勢。

基于這些缺點，該團隊還在軟件中開發了一個用戶界面，允許任何人更改3D骨骼相對于身體的方向，并允許用戶糾正錯誤并微調動畫。

該團隊表示：“我們的方法適用于各種各樣的全身，相當正面的照片，從體育照片到藝術品和海報。”

事實上，這是一項很有趣的研究，具有很大娛樂潛力。研究人員說：“我們相信這種方法不僅為人們提供了新的方式來欣賞和與照片互動，而且還提出了一種從單一圖像重建虛擬化身的途徑，同時提供了對現有技術的深入了解，從一張照片中就能進行人體建模。”

想象了一下，如果結合虛擬技術的話，應該是這樣的：

點一點手，Beatles就從專輯封面中向你走來。

不止是現實人物，連畢加索畫作中的人都能從走出畫框，少女小跑地奔向你：

額，如果這不是你理想對象的話，那將來就拿右鍵保存的男神女神照片來試試吧。