周四晚上11點(diǎn)，萬(wàn)眾矚目的世界杯終于開(kāi)踢了，雖然意大利、荷蘭、智利、中國(guó)（手動(dòng)滑稽）等強(qiáng)隊(duì)沒(méi)能進(jìn)入本屆世界杯，但C羅梅西誰(shuí)主沉浮、桑巴足球可否復(fù)仇、冰島國(guó)足能走多遠(yuǎn)依舊看點(diǎn)十足。比起能在家門(mén)口看球的毛子和有閑錢(qián)閑功夫飛赴球場(chǎng)的球迷，大多數(shù)人還是只能囿于屏幕前。再加上顧及會(huì)遇到正面剛無(wú)敵的戰(zhàn)斗民族，英國(guó)人還是坐在家中看球比較穩(wěn)妥。

可若是在家吃著燒烤，喝著啤酒，換了大屏幕甚至改用投影儀，看球還不爽怎么辦？新系統(tǒng)來(lái)幫你忙，給予你真·上帝視角的體驗(yàn)。

想象一下，如果可以在桌子地板上觀看足球比賽的3D全息圖，還能四處走動(dòng)從不同視角觀看球員，那該有多炫酷。想要獲得此種體驗(yàn)的一種方法便是在球場(chǎng)各個(gè)方位布置多臺(tái)同步攝像機(jī)，然后利用多視圖幾何技術(shù)重建場(chǎng)地和球員的3D模型。然而多攝像機(jī)的布置降低了它的適用性。今天要說(shuō)的另一種方法則是利用單目視頻完成對(duì)球場(chǎng)和球員的3D重建。在前一段時(shí)間，我們也提到過(guò)兩個(gè)單目動(dòng)捕方案：Vnect和MonoPertCap，就基本原理來(lái)說(shuō)，三者也有著一些異曲同工之妙。

導(dǎo)入YouTube視頻后，研究人員使用字段線來(lái)恢復(fù)相機(jī)參數(shù)，通過(guò)提取邊界框、姿勢(shì)和運(yùn)動(dòng)軌跡（跨多個(gè)幀）分割出球員輪廓。然后使用訓(xùn)練有素的深層網(wǎng)絡(luò)在場(chǎng)中重建每個(gè)球員的深度圖并在3D查看器或AR設(shè)備上渲染這些深度圖。

于是識(shí)別球員的重任就落在了深度學(xué)習(xí)網(wǎng)絡(luò)上，而它的訓(xùn)練方法又顯得十分巧妙。有別于傳統(tǒng)的訓(xùn)練方式,此系統(tǒng)選擇了FIFA游戲作為訓(xùn)練素材。倘若使用普通2D足球視頻，很難從干巴巴的平面中提取出訓(xùn)練所需的深度數(shù)據(jù)信息，而本身基于大量數(shù)據(jù)編輯而成的FIFA則可以提供更加詳細(xì)的數(shù)據(jù)集。

研究人員使用RenderDoc （RenderDoc是一款功能強(qiáng)大的開(kāi)源圖形調(diào)試器，除了可以用于圖形開(kāi)發(fā)，還可以用來(lái)分析各游戲大作的渲染流程）來(lái)攔截游戲引擎和GPU之間的調(diào)用。與大多數(shù)游戲類(lèi)似，F(xiàn)IFA在游戲過(guò)程中使用延遲著色，因此可以很方便地捕獲每幀的深度和顏色緩沖區(qū)。一旦給定幀的深度和顏色被捕獲，研究人員就將處理它以提取球員。提取的顏色緩沖區(qū)即是游戲的RGB屏幕截圖。接下來(lái)用OpenGL相機(jī)矩陣來(lái)將緩沖區(qū)轉(zhuǎn)化為坐標(biāo)系中的三維點(diǎn)從而得到點(diǎn)云，再用DBSCAN聚類(lèi)算法將球員分開(kāi)，最后將每個(gè)球員的3D集群投影到圖像上，并使用度量深度重新計(jì)算深度緩沖區(qū)。簡(jiǎn)單來(lái)說(shuō)，利用FIFA，不光有圖，還有現(xiàn)成的數(shù)據(jù)作參考，豈不美哉。

可是球場(chǎng)上的激烈角逐免不了身體碰撞，再加上攝像機(jī)機(jī)位的角度問(wèn)題，很容易就造成畫(huà)面內(nèi)的球員相互遮擋。在有遮擋的情況下，深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算是混亂的。盡管有訓(xùn)練樣本帶有遮擋，但還是不足以讓網(wǎng)絡(luò)計(jì)算出一名球員的深度。出于這個(gè)原因，研究人員通過(guò)提供一個(gè)分割掩模來(lái)幫助深度網(wǎng)絡(luò)計(jì)算，其中被追蹤的球員是前景，場(chǎng)地、體育場(chǎng)和其他球員是背景。

完成了深度學(xué)習(xí)網(wǎng)絡(luò)的計(jì)算，接下來(lái)就是對(duì)于場(chǎng)景的重建了。首先自然是對(duì)于攝像機(jī)參數(shù)的把握。由于需要令重建的場(chǎng)景為用戶提供可旋轉(zhuǎn)拉伸的視角，因此研究者們?nèi)∏驁?chǎng)上的邊線、中線、底線等作為特征坐標(biāo)以便定位。在完成了對(duì)于球員身體關(guān)鍵點(diǎn)（骨架）的捕捉后，就要生成網(wǎng)格了。

因?yàn)樯疃葘W(xué)習(xí)網(wǎng)絡(luò)輸出是每個(gè)像素量化的符號(hào)距離、球員的表面和虛擬平面之間的距離，所以為了獲得度量深度圖，要將球員的邊界框提升為3D，創(chuàng)建一個(gè)平面（假設(shè)玩家的底部像素位于地面上）。然后，我們將網(wǎng)絡(luò)輸出的距離偏移應(yīng)用到3D平面上，以獲得所需的深度圖。然后輔以相機(jī)參數(shù)將深度圖投影到坐標(biāo)中，從而以3D形式生成玩家的點(diǎn)云。每個(gè)像素對(duì)應(yīng)一個(gè)3D點(diǎn)，連接像素建立面部，再對(duì)網(wǎng)格進(jìn)行紋理貼圖。根據(jù)應(yīng)用的不同，還可以通過(guò)抽取部分網(wǎng)格來(lái)進(jìn)一步簡(jiǎn)化網(wǎng)格結(jié)構(gòu)，以節(jié)省設(shè)備中的儲(chǔ)存空間。

當(dāng)然就目前來(lái)看，該系統(tǒng)還有著很多不完善的地方，比如無(wú)法模擬球員跳躍、無(wú)法獲得全方位令人滿意的觀看體驗(yàn)、無(wú)法實(shí)時(shí)重構(gòu)、無(wú)法高效數(shù)據(jù)壓縮、足球總是閃爍不定等。

總的來(lái)說(shuō)，游戲的發(fā)展似乎為深度學(xué)習(xí)網(wǎng)絡(luò)提供了豐富的素材，由此也側(cè)面推動(dòng)了AR VR技術(shù)的進(jìn)步。這也為直男提供了一個(gè)新思路：等下次再有妹子問(wèn)你什么是越位的時(shí)候，你就可以一幀一幀得和她講解了。