1、傳感器

無人車視覺傳感器：超聲波雷達(dá)（倒車）、毫米波雷達(dá)、LiDAR與攝像頭。

激光雷達(dá)精度，速度高（厘米級），成本高；毫米波雷達(dá)可適應(yīng)惡劣天氣

2、KITTI數(shù)據(jù)集

（1）Stereo/Optical Flow數(shù)據(jù)集：兩個攝像頭

（2）視覺里程測量數(shù)據(jù)集

（3）三維物體檢測數(shù)據(jù)集

（4）物體追蹤數(shù)據(jù)集

（5）路面與車道檢測數(shù)據(jù)集

3、計算機(jī)視覺能解決的問題：

（1）物體的識別與跟蹤：識別（深度學(xué)習(xí)）：行人、行駛空間、地標(biāo)、紅綠燈、其他車輛；跟蹤：Optical Flow運動預(yù)測算法

（2）車輛的定位（基于拓?fù)渑c地標(biāo)的算法，基于幾何的視覺里程計算法）

4、Optical Flow和立體視覺

Optical Flow：圖片序列或視頻中像素級的密集對應(yīng)關(guān)系，例如在每個像素上估算一個二維的偏移矢量，得到的Optical Flow以二維的矢量場表示。---基于單個攝像頭在連續(xù)時刻的圖像。

立體視覺：從兩個或更多的視覺得到的圖像中建立對應(yīng)關(guān)系。---基于多個攝像頭在同一時刻的圖片。

進(jìn)展：Siamese神經(jīng)網(wǎng)絡(luò)

5、物體的識別與追蹤

實時地識別與追蹤多個運動目標(biāo)（車輛，行人）。

基于深度學(xué)習(xí)的物體識別：輸出有噪聲，如物體識別不穩(wěn)定，物體被遮擋，物體短暫誤識別。

進(jìn)展：基于馬爾科夫決策過程（MDP）的MOT算法：基于有噪聲的識別結(jié)果獲得魯棒的物體運動軌跡。

6、視覺里程計算法

（1）基于拓?fù)渑c地標(biāo)的算法：把所有的地標(biāo)組成一個拓?fù)鋱D，當(dāng)無人車監(jiān)測到某個地標(biāo)時，可以大致推斷自身的位置。

條件：建立精準(zhǔn)的拓?fù)鋱D，比如將每個路口的標(biāo)志物做出地標(biāo)。

（2）基于幾何的視覺里程計算法：無需預(yù)先建立精準(zhǔn)的拓?fù)鋱D，分成單目和雙目兩種。

單目：無法推算出觀察到的物體的大小，需要假設(shè)物體的初步大小，或結(jié)合其他傳感器（如陀螺儀）進(jìn)行準(zhǔn)確的定位。

雙目：通過左右圖的三角測量法計算出特征點的深度，然后從深度信息推算出物體的大小。

編輯：jq