“雙目視覺可能在國內(nèi)研究的廠家還比較少，但實(shí)際上它在國際上應(yīng)用的范圍已經(jīng)比較廣了，尤其在日本，歐美的廠家更多，但是日本的產(chǎn)品相對(duì)來講比歐美的還要再成熟一些。”中科慧眼聯(lián)合創(chuàng)始人兼COO孟然表示，從06年開始一些高端配置的車型也應(yīng)用了雙目視覺的系統(tǒng)，比如路虎、捷豹、斯巴魯。

那么雙目視覺感知原理是什么？它屬于380到760納米可見光的范圍，實(shí)際上它比單目和毫米波雷達(dá)的區(qū)別是什么？雙目是兩種類別的傳感器（我指的僅僅是用于防撞這個(gè)功能）。

中科慧眼聯(lián)合創(chuàng)始人兼COO孟然在2018高工智能

商用車開發(fā)者大會(huì)上發(fā)表主題演講

雙目視覺實(shí)際上是基于兩路視頻的視差，就是左眼與右眼對(duì)于同一個(gè)目標(biāo)所形成的圖像像素點(diǎn)的差異，像素點(diǎn)的差異通過基線，就是兩個(gè)攝像頭之間的間距關(guān)系。基線的距離，視差加上焦距，就可以換算出來你與我之間的距離，實(shí)際上就是一個(gè)三角關(guān)系。

你會(huì)發(fā)現(xiàn)這個(gè)視差越大，物體會(huì)離你越近。用這個(gè)原理去進(jìn)行距離的測定，以此再進(jìn)行防撞系統(tǒng)的開發(fā)。

去年我們參與了百度阿波龍量產(chǎn)項(xiàng)目，這是測試場的測試情況，這里面的顏色也是雙目所形成的三維的數(shù)據(jù)，紅色代表比較近，藍(lán)色、黑色代表比較遠(yuǎn)，在形成了所有障礙物的信息后，與前面的超聲波、激光、毫米波去進(jìn)行融合，最后給出了最終的防撞策略。

在阿波龍量產(chǎn)的小巴它實(shí)際上是四層的防撞系統(tǒng)，最外層的是毫米波，它只是正向的，然后一圈的是激光雷達(dá)，這是第二層，比毫米波要近一些，是在100米左右，在60米到80米左右是用的視覺，在視覺的內(nèi)部是一圈的超聲波，它是形成了四層的防撞系統(tǒng)。

右邊是實(shí)時(shí)場景，左邊是雙目感知出來的效果圖

其實(shí)，行業(yè)內(nèi)有好多人會(huì)問，單目視覺和雙目視覺到底有什么區(qū)別？他們是應(yīng)用了同樣的電磁波波長的兩套不同的系統(tǒng)，因?yàn)樗麄儨y試的原理不一樣，單目視覺是基于識(shí)別的原理，進(jìn)行距離的測定。

雙目視覺是通過我剛剛講的三角關(guān)系，通過視差的方式實(shí)現(xiàn)距離的測量，它就像雷達(dá)通過發(fā)射時(shí)間與反射的時(shí)間差距測量一樣，他們是基于不同的原理，所以雙目不依賴與識(shí)別、樣本庫、分類器，它是不識(shí)別物體類別的，這個(gè)跟單目不一樣。

同時(shí)，我們?cè)陔p目里面想植入成熟的單目感知算法，它與雙目相機(jī)本身感知數(shù)據(jù)進(jìn)行一個(gè)DoubleCheck，做一個(gè)融合取舍，再與雷達(dá)做融合，形成最終感知的結(jié)果。這個(gè)在阿波龍里已經(jīng)用到了。

到底雙目能夠達(dá)到多遠(yuǎn)，對(duì)于視覺來講，從原理上來講是沒有一個(gè)極限的，因?yàn)樗R頭有關(guān)，如果你用放大鏡可能只用看到幾厘米，對(duì)于一個(gè)傳感器，跟它的鏡頭有很直接的關(guān)系。

原則上來講，鏡頭的焦距越遠(yuǎn)，看到的越遠(yuǎn)，但是你的視角會(huì)變窄，鏡頭的焦距越窄，你看的越近，但是你的視角會(huì)變大。如果雙目之間的距離越大，原則上你看的是越遠(yuǎn)，但是你近處看不到的地方也會(huì)變的越大，所以無限的放遠(yuǎn)與無限的放近實(shí)際上都是不好的。

我們?nèi)绾味x鏡頭的焦距跟項(xiàng)目本身是有關(guān)的，比如你是一個(gè)低速車，我要盡可能的放大視角，我們把測定的距離放到五六十米，因?yàn)槟阒挥腥氖~。但是如果你是一個(gè)高速車，比如說一百公里到兩百公里的車速，我們可能把這個(gè)距離放的很遠(yuǎn)，比如看到120、150米，但是你的視角可能會(huì)變窄。

在低速小巴上，我們用的是兩套系統(tǒng)，一套是50度40米的，一套是38度80米的，在國內(nèi)微循環(huán)的小巴普遍使用的25幀的頻率，歐美用的是30幀。

我們還有一款即將發(fā)布的四目相機(jī)一體化視覺解決方案，除了雙目避障以外還有兩個(gè)雙焦的鏡頭，適用于紅綠燈、標(biāo)識(shí)線等識(shí)別。

現(xiàn)在行業(yè)還有一種說法，視覺傳感器到底它的必要性在哪兒？視覺是可以感知顏色的，可以感知可見光，但是毫米波、激光包括超聲波它有自己的物理性質(zhì)，這個(gè)是沒辦法改變的。

對(duì)于一套自動(dòng)駕駛系統(tǒng)來話，信息融合肯定是避免不了的，像視覺可能它擔(dān)心的是什么？它擔(dān)心的是強(qiáng)逆光、致盲，像毫米波或者激光可能在這個(gè)方面是沒有問題的。

但在黑色的感知效果上，視覺又要強(qiáng)于毫米波和可見光，所以不同的場景、不同的時(shí)間、不同的環(huán)境，可能這種波所固有的性質(zhì)你是改變不了的，所以自動(dòng)駕駛系統(tǒng)一般來講都是做多傳感技術(shù)的融合。

視覺在融合里起到什么作用？它一定是作用于中近距離，視覺在遠(yuǎn)距離測距上是不如激光或者毫米波的精度那么高，而且沒有那么快的響應(yīng)速度。

在你開高速的時(shí)候你可以用余光一邊聊天一邊看手機(jī)就開了。但是當(dāng)你倒車的時(shí)候?yàn)槭裁匆罂从铱绰牡鼓兀烤褪且驗(yàn)橐粋€(gè)物體離你越近，你需要看到的東西就越細(xì)。

當(dāng)我們高速行駛的時(shí)候，可能不需要看的那么詳細(xì)，所以在高速上行駛的是探測幾百米以外的小汽車或者大貨車的時(shí)候，我們用雷達(dá)打這個(gè)線束是沒有問題的。

但是當(dāng)你在做低速駕駛，比如說城市街道，比如園區(qū)，尤其對(duì)于小障礙物的時(shí)候，更致密的感知是更必要的，這就是視覺的優(yōu)勢。比如說園區(qū)里面的垃圾筒，小貓小狗的感知，如果用16線或者32線的激光雷達(dá)線束打過去以后可能打不到。

視覺的優(yōu)勢在于它更致密，而不是精度更高，測的更遠(yuǎn)，視覺是聚焦在中近距離，雷達(dá)是聚焦在中遠(yuǎn)距離。

雙目視覺可以形成路面的點(diǎn)云圖，顏色是代表距離，縱向有一千行，橫向有一千多行，這個(gè)是跟目前雷達(dá)最大的不同，它把更加致密的點(diǎn)云給到數(shù)據(jù)融合的模塊。

這是夜晚的情況，對(duì)于圖像來講，它最好的效果實(shí)際上是在天空、路面、景物、輪胎、人、車，所有的障礙物之間有一個(gè)很好的對(duì)比度，有一個(gè)很高的信號(hào)比，所以我們?cè)谝雇淼凸獾那闆r，還是在白天太陽特別強(qiáng)烈的情況下，我們希望得到的圖像是一樣的，每一個(gè)類別之間有一個(gè)很好的對(duì)比度。

對(duì)于視覺來講也有兩種算法，一個(gè)是基于面的，一個(gè)是基于邊緣的，基于面的點(diǎn)云會(huì)更致密，我們之前看到的所有三維的圖，但是基于邊的，它的數(shù)據(jù)的可靠性更強(qiáng)。