1.通過vision+lidar求取3D車道線

1.1 lidar檢測車道線原理

一般來說lidar點(diǎn)包含四個(gè)維度的信息，xyz坐標(biāo)和intensity，其中intensity表征著障礙物表面對(duì)激光的反射率。車道線一般是使用具有高反射率特性的涂料繪制的，車道線區(qū)域lidar點(diǎn)intensity相對(duì)其他地面區(qū)域要高，如下圖所示。其中地面區(qū)域都是低intensity點(diǎn)（綠色），車道線、curb和地面標(biāo)識(shí)都是高intensity點(diǎn)（紅色和白色）。利用深度學(xué)習(xí)或者傳統(tǒng)方法可以很容易提取lidar車道線。

圖1 lidar點(diǎn)云BEV視圖，其中紅色和白色為高反射率點(diǎn)，綠色為低反射率點(diǎn) 另一方面，從圖1我們也可以發(fā)現(xiàn)，由于lidar點(diǎn)云在遠(yuǎn)處是稀疏的，lidar車道線的有效范圍較短。總結(jié)起來，利用lidar可以獲取范圍較短但是定位精度較高的3D車道線。現(xiàn)在業(yè)內(nèi)流行在BEV視角下提取lidar、vision特征，以便于后續(xù)的融合，我們也使用BEV的方法提取車道線。

1.2 來自圖像拼接的啟發(fā)

上文中我們提到使用lidar可以獲取較短范圍（40m以內(nèi)），BEV視角下的高精度車道線，但是40的長度顯然不太能滿足控車需求。vision 2D車道線檢測距離遠(yuǎn)，2D精度高，但是很難獲取高精度的3D車道線信息。本文探討一下如何使用vision高精度的2D信息和lidar距離受限的3D信息實(shí)現(xiàn)遠(yuǎn)距離的BEV車道線感知。

使用lidar獲取BEV車道線后，可以獲得一個(gè)稀疏的BEV圖，用來表征車道線的位置，如圖2所示。按（RentyZhu：自動(dòng)駕駛系列3：一種簡單的視覺3D車道線感知方法）提到的坐標(biāo)系構(gòu)建方法建立地面系。BEV視圖可以等效為一個(gè)相機(jī)在距離地平面一米高度處俯視地平面，其投影方程為：

相機(jī)的光軸基本與地面平行，相機(jī)2D車道線成像和BEV視圖可以視為在兩個(gè)不同的視角下車道線的成像。如果我們能類比圖像拼接的方法，將相機(jī)視圖“拼接”到BEV視圖下，理論上可以實(shí)現(xiàn)較好的3D車道線檢測。

我們調(diào)研了一些圖像拼接方法，其中 計(jì)算機(jī)視覺life：計(jì)算機(jī)視覺方向簡介 | 圖像拼接 一文中介紹了經(jīng)典的圖像拼接框架。典型的圖像拼接可以分解為以下四步：

其中特征提取已經(jīng)完成，即vision和lidar車道線檢測結(jié)果；特征匹配即vision 2D車道線和lidar 3D車道線的匹配；視覺SLAM相關(guān)博文中介紹了很多基于特征點(diǎn)匹配的單應(yīng)性矩陣計(jì)算方法，在本方法中不再適用。本方法使用線對(duì)線的匹配對(duì)求取單應(yīng)性矩陣，具體方法在后續(xù)博文展開。在求取單應(yīng)性矩陣H后，我們將視覺2D檢測結(jié)果warp到BEV視角下，再和lidar BEV車道線做簡單的加權(quán)擬合，即可完成3D車道線的感知。

1.3 結(jié)果

實(shí)驗(yàn)結(jié)果如下圖所示，粉色為lidar車道線，距離較短。黃色為真值，紅色為利用我們的方法求取的車道線。從結(jié)果看本方法在保證3D檢測精度的情況下大大提升了車道線的感知距離。

圖2 車道線BEV視圖 粉色：lidar檢測結(jié)果 黃色：真值 紅色：本方法結(jié)果

2.BEVFusion

在上一篇博客（RentyZhu：自動(dòng)駕駛系列3：一種視覺3D車道線感知&&地面重構(gòu)方法）中提到了視覺可以無監(jiān)督重構(gòu)地面：

編輯：黃飛

?