本文將重點(diǎn)介紹單目方案的空間定位。

三、單目三維空間測(cè)量與定位要解決的問(wèn)題

1、 求解原理和過(guò)程

如前文所述，單目三維空間測(cè)量與定位，是依據(jù)PnP原理來(lái)求解的。理論上講，如果可以獲取一個(gè)三維剛體上不共面的任意6個(gè)點(diǎn)在攝像機(jī)二維成像平面的投影位置，是可以唯一反解出來(lái)這個(gè)剛體在三維空間的唯一6DoF參數(shù)的。如果少于6個(gè)點(diǎn)，解就不一定唯一了。但在實(shí)踐中，由于剛體往往存在一些約束條件，因此，大多數(shù)情況下，如果能提取獲得剛體上4個(gè)不共面點(diǎn)的二維投影，一般就可以反解出剛體的6DoF。其求解的前提條件為：

求解過(guò)程如下：

在結(jié)算過(guò)程中，會(huì)遇到的關(guān)鍵技術(shù)環(huán)節(jié)和問(wèn)題包括：環(huán)境噪聲點(diǎn)去除，光斑中心像素提取，二維和三維點(diǎn)匹配，6DoF計(jì)算迭代優(yōu)化，以及多傳感器融合問(wèn)題。

2、 環(huán)境噪聲點(diǎn)去除問(wèn)題

在計(jì)算機(jī)視覺(jué)、圖像處理領(lǐng)域，最常見(jiàn)的一個(gè)問(wèn)題，也往往是一個(gè)非常頭疼的問(wèn)題就是環(huán)境噪聲。所有圖像處理的問(wèn)題，都會(huì)面臨：光照是否足夠，太陽(yáng)光、日光燈、白熾燈、鹵素?zé)簦ㄕ箷?huì)往往會(huì)有）等各種燈的紅外分量、可見(jiàn)光分量的干擾和影響。解決環(huán)境噪聲的手段包括：1）使用主動(dòng)光源，這樣可以有效的減少白天、黑夜所帶來(lái)的影響，一般使用的主動(dòng)光源時(shí)，會(huì)使用紅外光源；2）使用濾波片，特別是窄帶濾波片。在使用主動(dòng)光源時(shí)，往往會(huì)配合使用濾波片，將不需要的光學(xué)成分去除，最常見(jiàn)的，例如第一代Kinect中，其發(fā)光為波長(zhǎng)828nm的紅外光，因此，其使用了828±15nm的窄帶濾波片。這是抗干擾手段中性價(jià)比最高的方法。3）使用主動(dòng)調(diào)制光源。如果前面兩種措施還不能有效抑制干擾（最常見(jiàn)的情況是在室外或者室內(nèi)使用，但有陽(yáng)光射入），這就可能要使用帶調(diào)制信息的主動(dòng)光源了，CMOS Sensor在接收到光線信號(hào)后，算法可以將陽(yáng)光等不帶調(diào)制信息的光線信號(hào)給濾除。雖然，使用調(diào)制光源可以進(jìn)一步抑制干擾，但其往往也有副作用，例如增大處理器運(yùn)算工作量，降低幀率。

3、 光斑中心像素提取精度問(wèn)題

利用計(jì)算機(jī)視覺(jué)的定位中，影響定位精度的其中一個(gè)最重要的因素就是光斑中心的提取精度。在實(shí)際應(yīng)用中，即便不考慮外界光線的影響，僅僅CMOS Sensor本身，也會(huì)對(duì)光斑成像帶來(lái)各種噪聲，包括：讀出噪聲、暗電流噪聲、固定模式噪聲等。理想情況下，光學(xué)系統(tǒng)能將光斑的平行光束投影到CMOS Sensor的一個(gè)或幾個(gè)像素點(diǎn)上，使其分布呈現(xiàn)中心某個(gè)或某幾個(gè)像素有均勻光線，而其余像素?zé)o光線的情況。但實(shí)際上，由于光學(xué)系統(tǒng)的成像誤差、衍射、以及CMOS Sensor噪聲的存在，使得成像結(jié)果往往會(huì)呈現(xiàn)以某個(gè)像素為中心的光強(qiáng)正態(tài)分布情況。為提高光斑中心像素提取精度，硬件上的做法是通過(guò)提高攝像機(jī)的分辨率來(lái)實(shí)現(xiàn)更高精度的圖像提取，但這樣也會(huì)相應(yīng)的增加硬件成本。而且，隨著分辨率的增加，運(yùn)算量也成幾何倍數(shù)的增長(zhǎng)，這也會(huì)帶來(lái)處理器的性能增長(zhǎng)需求，這將極大的增加整體成本。另外，在算法層面，采用一些傳統(tǒng)的灰度質(zhì)心提取算法，其一般做法是通過(guò)對(duì)圖像二值化預(yù)處理然后使用連通域提取，對(duì)光斑的質(zhì)心進(jìn)行求解，這在目標(biāo)距離攝像機(jī)較近，光斑亮度比較均勻的情況下，傳統(tǒng)方法提取的質(zhì)心精度效果比較好，然而實(shí)際情況中，光斑的亮度分布往往不是非常均勻，尤其在距離較遠(yuǎn)的情況下，亮度的均勻性和大小都將快速衰減，使得質(zhì)心質(zhì)心精確性大幅下降。其中改進(jìn)的方法包括對(duì)連通域范圍先進(jìn)行致密上采樣 隨后對(duì)上采樣范圍的像素亮度進(jìn)行加權(quán)求解質(zhì)心，這種方法在效果上可以達(dá)到較高的亞亞像素精度，然而犧牲了較多的運(yùn)算效率。但如果我們對(duì)算法進(jìn)行一些改進(jìn)，是可以將提取精度提高到亞亞像素級(jí)的。歡創(chuàng)科技在這一點(diǎn)上進(jìn)行了比較深入的研究，從光斑成像的角度入手，對(duì)光斑亮度的衰減過(guò)程進(jìn)行分析，從而總結(jié)出了一種預(yù)處理方式，使得質(zhì)心提取精度在維持亞亞像素精度的情況下，不犧牲任何運(yùn)算效率。

4、 二維和點(diǎn)匹配問(wèn)題

對(duì)于單目的姿態(tài)求解， PnP原理是求解的基礎(chǔ)，然而PnP求解的前提是空間中的3D坐標(biāo)和相機(jī)投影的2D像素間的對(duì)應(yīng)關(guān)系已知，在匹配未知的情況下，求解PnP 問(wèn)題變得比較復(fù)雜，在計(jì)算機(jī)視覺(jué)領(lǐng)域，這個(gè)問(wèn)題又叫做即時(shí)姿態(tài)和匹配求解問(wèn)題（Simultaneous Pose and Correspondence Problem），針對(duì)這個(gè)問(wèn)題比較常見(jiàn)的算法有softPOSIT，BlindPnP等，這些方法都采用的迭代求解的思想，將姿態(tài)求解和匹配歸結(jié)為優(yōu)化問(wèn)題，交替求解當(dāng)前最優(yōu)姿態(tài)以及最優(yōu)匹配，相對(duì)于softPOSIT，BlindPnP加入一些先驗(yàn)姿態(tài)信息，并且將高斯混合模型應(yīng)用于3D-2D匹配， 在某些案例中可以達(dá)到較精確的效果，然而這些方法的通病就是無(wú)法確保結(jié)果是全局最優(yōu)的，由于求解的空間復(fù)雜，因此有不收斂或收斂到局部最優(yōu)的可能，導(dǎo)致求解失敗。因此一些基于Branch-and-Bound以及Bundle Adjustment全局求解的思想框架逐漸運(yùn)用到了這個(gè)問(wèn)題上來(lái)，并且獲得了不錯(cuò)的結(jié)果。總的說(shuō)來(lái)，3D-2D的匹配和姿態(tài)求解密不可分，匹配算法的魯棒性和效率直接決定了姿態(tài)求解的性能，也是所有基于視覺(jué)的空間定位系統(tǒng)至關(guān)重要的環(huán)節(jié)。

5、 相機(jī)運(yùn)動(dòng)情況下與IMU傳感器融合的問(wèn)題

早在慣性測(cè)量單元（IMU）還未大規(guī)模普及的時(shí)代，SLAM 系統(tǒng)往往只依靠相機(jī)捕獲的圖像信息進(jìn)行空間定位，由于圖像信息中的角點(diǎn)或Marker點(diǎn)是可以直接約束相機(jī)的姿態(tài)和位置的， 因此純視覺(jué)輸入可以保證SLAM系統(tǒng)在小范圍空間內(nèi)的跟蹤結(jié)果不存在漂移。然而純視覺(jué)定位的局限在于其幀率往往不是很高，而且圖像運(yùn)算復(fù)雜，使得姿態(tài)求解不具有較高的動(dòng)態(tài)性能。 而反過(guò)來(lái)，慣性測(cè)量單元具有極好的瞬時(shí)動(dòng)態(tài)性，可以很好的彌補(bǔ)視覺(jué)系統(tǒng)的不足。因此，視基于覺(jué)和慣性單元融合的空間定位系統(tǒng)Vision-Inertial Navigation System（VINS） 便成為當(dāng)前流行的SLAM系統(tǒng)最佳方案，在VR領(lǐng)域，這也是inside-out 定位系統(tǒng)的基礎(chǔ)。VINS的核心是利用卡爾曼濾波器對(duì)慣性單元的輸入進(jìn)行預(yù)積分，將積分結(jié)果用于預(yù)測(cè)當(dāng)前姿態(tài)下所有角點(diǎn)或Marker點(diǎn)在相機(jī)中的投影位置，接著通過(guò)相機(jī)捕獲到的角點(diǎn)或marker點(diǎn)坐標(biāo)對(duì)預(yù)測(cè)姿態(tài)進(jìn)行修正更新，整個(gè)預(yù)測(cè)和更新過(guò)程交替進(jìn)行。當(dāng)前市面流行的IMU輸出幀率可以達(dá)到1000幀，因此VINS可以以很高的幀率對(duì)當(dāng)前姿態(tài)進(jìn)行預(yù)測(cè)，同時(shí)以相對(duì)較低的圖像頻率對(duì)姿態(tài)進(jìn)行更新修正，這樣可以同時(shí)保證定位系統(tǒng)的瞬時(shí)響應(yīng)速度和長(zhǎng)時(shí)間使用的準(zhǔn)確性。

以上就是為大家?guī)?lái)的單目空間定位的一些技術(shù)介紹，在后續(xù)，本專欄還會(huì)結(jié)合一些實(shí)際應(yīng)用和產(chǎn)品再介紹和空間定位、測(cè)量相關(guān)的技術(shù)。