激光雷達(dá)和攝像頭分別完成什么工作？

　　無人駕駛過程中，環(huán)境感知信息主要有這幾部分：一是行駛路徑上的感知，對于結(jié)構(gòu)化道路可能要感知的是行車線，就是我們所說的車道線以及道路的邊緣、道路隔離物以及惡劣路況的識別;對非結(jié)構(gòu)道路而言，其實(shí)會(huì)更加復(fù)雜。

　　周邊物體感知，就是可能影響車輛通行性、安全性的靜態(tài)物體和動(dòng)態(tài)物體的識別，包括車輛，行人以及交通標(biāo)志的識別，包括紅綠燈識別和限速牌識別。

　　對于環(huán)境感知所需要的傳感器，我們把它分成三類：

　　感知周圍物體的傳感器，包括激光雷達(dá)、攝像頭和毫米波雷達(dá)這三類;

　　實(shí)現(xiàn)無人駕駛汽車定位的傳感器，就是 GPS 、IMU 和 Encoder;

　　其他傳感器，指的是感知天氣情況及溫、濕度的傳感器。

　　今天主要講的是感知周圍物體的傳感器，即：激光雷達(dá)、毫米波雷達(dá)和攝像頭。其實(shí)他們都有各自的優(yōu)缺點(diǎn)。

　　在無人駕駛環(huán)境感知中，攝像頭完成的工作包括：

　　車道線檢測;

　　障礙物檢測，相當(dāng)于把障礙物識別以及對障礙物進(jìn)行分類;

　　交通標(biāo)志的識別，比如識別紅綠燈和限速牌。

　　對車道線的檢測主要分成三個(gè)步驟：

　　第一步，對獲取到的圖片預(yù)處理，拿到原始圖像后，先通過處理變成一張灰度圖，然后做圖像增強(qiáng);

　　第二步，對車道線進(jìn)行特征提取，首先把經(jīng)過圖像增強(qiáng)后的圖片進(jìn)行二值化（ 將圖像上的像素點(diǎn)的灰度值設(shè)置為 0 或 255，也就是將整個(gè)圖像呈現(xiàn)出明顯的黑白效果），然后做邊緣提取;

　　第三步，直線擬合。

　　車道線檢測難點(diǎn)在于，對于某些車道線模糊或車道線被泥土覆蓋的情況、對于黑暗環(huán)境或雨雪天氣或者在光線不是特別好的情況下，它對攝像頭識別和提取都會(huì)造成一定的難度。

　　另一個(gè)是障礙物檢測。上圖是我們在十字路口做的實(shí)驗(yàn)，獲取到原始圖像后，通過深度學(xué)習(xí)框架對物體進(jìn)行識別。在這當(dāng)中，做訓(xùn)練集其實(shí)是主要的難點(diǎn)。

　　還有一個(gè)是道路標(biāo)識的識別，這一部分的研究比較多，這里不再贅述。