由于智能手機(jī)上沒(méi)有深度攝像頭，在手機(jī)上的動(dòng)作捕捉就必須依靠單目動(dòng)捕，基于單目的的動(dòng)作捕捉方案就成了一個(gè)必須跨過(guò)的門(mén)檻。而由于實(shí)際中存在的像遮擋、深度、難以估計(jì)骨架姿勢(shì)等問(wèn)題，單目動(dòng)作捕捉的解決方案就變得比較復(fù)雜。

最近，瑞士洛桑聯(lián)邦理工學(xué)院（EPFL）和德國(guó)普朗克計(jì)算機(jī)研究所的研究人員發(fā)表論文，展示了一種基于單個(gè)單眼相機(jī)的“無(wú)標(biāo)記性能捕獲技術(shù)”MonoPerfCap，可以實(shí)現(xiàn)基于單目的動(dòng)作捕捉，并且可以實(shí)現(xiàn)服裝的3D重建。

簡(jiǎn)單來(lái)說(shuō)，MonoPerfCap的原理分兩步完成，首先是將攝像頭繞目標(biāo)人物一圈，在這個(gè)過(guò)程中，可以實(shí)現(xiàn)對(duì)目標(biāo)人物輪廓的識(shí)別和信息的采集，并且基于輪廓生成一個(gè)目標(biāo)人物的骨架模型，這樣有利于動(dòng)作的捕捉，而其它信息的采集可以應(yīng)用到外部模型的渲染。

論文表示，MonoPerfCap基于輪廓的姿態(tài)細(xì)化改善了姿態(tài)估計(jì)和輪廓分割。 姿勢(shì)估計(jì)中的錯(cuò)誤導(dǎo)致在左臂附近不準(zhǔn)確的背景減法。而MonoPerfCap的姿態(tài)細(xì)化將手臂骨架向左移動(dòng)到正確的位置。 剪影在第二輪廓提取之后分割被顯著地細(xì)化基于精確的姿勢(shì)（e）。

第二步是基于第一步識(shí)別的骨架模型計(jì)算出連接點(diǎn)，再基于卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)估計(jì)出做動(dòng)作時(shí)骨架姿勢(shì)的變化，隨后在骨架模型上渲染出整個(gè)人身體的輪廓。

通過(guò)使用這種提出的方法，我們不僅可以重建人體姿勢(shì)，而且還可以重建衣服的穿著動(dòng)作，并且使我們能夠從自由的角度進(jìn)行渲染。但是，高速運(yùn)動(dòng)時(shí)和出現(xiàn)強(qiáng)遮擋時(shí)的識(shí)別變得略不穩(wěn)定。

MonoPerfCap的研究人員將自己的動(dòng)作捕捉分別和2015、2016、2017的方法比較，用MonoPerfCap方法得到的結(jié)果優(yōu)于其它方法的結(jié)果，甚至已經(jīng)非常接近8臺(tái)攝像機(jī)多視角動(dòng)作捕捉的結(jié)果。

首先，這種捕捉方法必須依靠大約半分鐘的對(duì)目標(biāo)人物的圓形掃描，雖然之后的處理是不需要人干預(yù)的，但仍然略顯麻煩。

另外，有的場(chǎng)景下的識(shí)別仍然有可能捕捉失敗，由于一般視角下對(duì)腳的捕捉很難實(shí)現(xiàn)，所以像有大量遮擋的情況或者當(dāng)運(yùn)動(dòng)非常迅速的時(shí)候，就可能失敗。如果目標(biāo)人物穿著像風(fēng)衣或者夾克這樣的衣服時(shí)，很可能對(duì)攝像頭的識(shí)別造成干擾，從而無(wú)法捕捉。在論文的示例中，捕捉目標(biāo)都穿著比較貼近身體的衣服。

這是論文對(duì)各個(gè)人物目標(biāo)的識(shí)別示例，可以看到識(shí)別效果比較好，另外衣服和身體的細(xì)節(jié)渲染也不錯(cuò)。

前兩天我們還剛提到過(guò)一個(gè)單目動(dòng)捕方案Vnect，它們?cè)谠砩系牟顒e其實(shí)不大，同樣是基于骨架模型，同樣利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)，區(qū)別在于Vnect只能估算出骨架的姿勢(shì)模型，MonoPerfCap還添加了估計(jì)外部身體姿勢(shì)和和衣服細(xì)節(jié)的能力，相對(duì)來(lái)說(shuō)更加成熟。

其實(shí)，MonoPerfCap的方案不止可以應(yīng)用到動(dòng)作捕捉上，就論文中實(shí)現(xiàn)的方案來(lái)看，這個(gè)方案同樣可以用來(lái)識(shí)別合適的視頻中人物的動(dòng)作。

總而言之，MonoPerfCap可以適用于各種不同的場(chǎng)景，復(fù)雜的背景也不會(huì)對(duì)識(shí)別結(jié)果產(chǎn)生影響，在性能方面也已經(jīng)超越了之前的方案，細(xì)節(jié)渲染尤其可圈可點(diǎn)，可以說(shuō)是一個(gè)比較出彩的單眼動(dòng)作捕捉方案了。對(duì)此有興趣的同學(xué)也可以點(diǎn)擊閱讀原文下載論文。