無人駕駛系統(tǒng)的核心可以概述為三個部分：感知（Perception），規(guī)劃（Planning）和控制（Control），這些部分的交互以及其與車輛硬件、其他車輛的交互可以用下圖表示：

感知是指無人駕駛系統(tǒng)從環(huán)境中收集信息并從中提取相關(guān)知識的能力。其中，環(huán)境感知（Environmental Perception）特指對于環(huán)境的場景理解能力，例如障礙物的位置，道路標志/標記的檢測，行人車輛的檢測等數(shù)據(jù)的語義分類。 一般來說，定位（Localization）也是感知的一部分，定位是無人車確定其相對于環(huán)境的位置的能力。

規(guī)劃是無人車為了某一目標而作出一些有目的性的決策的過程，對于無人駕駛車輛而言，這個目標通常是指從出發(fā)地到達目的地，同時避免障礙物，并且不斷優(yōu)化駕駛軌跡和行為以保證乘客的安全舒適。規(guī)劃層通常又被細分為任務(wù)規(guī)劃（Mission Planning），行為規(guī)劃（Behavioral Planning）和動作規(guī)劃（Motion Planning）三層。

最后，控制則是無人車精準地執(zhí)行規(guī)劃好的動作的能力，這些動作來源于更高的層。

▌感知

環(huán)境感知

為了確保無人車對環(huán)境的理解和把握，無人駕駛系統(tǒng)的環(huán)境感知部分通常需要獲取周圍環(huán)境的大量信息，具體來說包括：障礙物的位置，速度以及可能的行為，可行駛的區(qū)域，交通規(guī)則等等。無人車通常是通過融合激光雷達（Lidar），相機（Camera），毫米波雷達（Millimeter Wave Radar）等多種傳感器的數(shù)據(jù)來獲取這些信息，本節(jié)我們簡要地了解一下激光雷達和相機在無人車感知中的應(yīng)用。

激光雷達是一類使用激光進行探測和測距的設(shè)備，它能夠每秒鐘向環(huán)境發(fā)送數(shù)百萬光脈沖，它的內(nèi)部是一種旋轉(zhuǎn)的結(jié)構(gòu)，這使得激光雷達能夠?qū)崟r的建立起周圍環(huán)境的3維地圖。

通常來說，激光雷達以10Hz左右的速度對周圍環(huán)境進行旋轉(zhuǎn)掃描，其掃描一次的結(jié)果為密集的點構(gòu)成的3維圖，每個點具備（x,y,z）信息，這個圖被稱為點云圖（Point Cloud Graph），如下圖所示，是使用Velodyne VLP-32c激光雷達建立的一個點云地圖：

激光雷達因其可靠性目前仍是無人駕駛系統(tǒng)中最重要的傳感器，然而，在現(xiàn)實使用中，激光雷達并不是完美的，往往存在點云過于稀疏，甚至丟失部分點的問題，對于不規(guī)則的物體表面，使用激光雷達很難辨別其模式，在諸如大雨天氣這類情況下，激光雷達也無法使用。

為了理解點云信息，通常來說，我們對點云數(shù)據(jù)進行兩步操作：分割（Segmentation）和分類（Classification）。其中，分割是為了將點云圖中離散的點聚類成若干個整體，而分類則是區(qū)分出這些整體屬于哪一個類別（比如說行人，車輛以及障礙物）。分割算法可以被分類如下幾類：

基于邊的方法，例如梯度過濾等；

基于區(qū)域的方法，這類方法使用區(qū)域特征對鄰近點進行聚類，聚類的依據(jù)是使用一些指定的標準（如歐幾里得距離，表面法線等），這類方法通常是先在點云中選取若干種子點（seed points），然后使用指定的標準從這些種子點出發(fā)對鄰近點進行聚類；

參數(shù)方法，這類方法使用預(yù)先定義的模型去擬合點云，常見的方法包括隨機樣本一致性方法（Random Sample Consensus，RANSAC ）和霍夫變換(Hough Transform，HT)；

基于屬性的方法，首先計算每個點的屬性，然后對屬性相關(guān)聯(lián)的點進行聚類的方法；

基于圖的方法；

基于機器學(xué)習(xí)的方法；

在完成了點云的目標分割以后，分割出來的目標需要被正確的分類，在這個環(huán)節(jié)，一般使用機器學(xué)習(xí)中的分類算法，如支持向量機（Support Vector Machine，SVM）對聚類的特征進行分類，最近幾年由于深度學(xué)習(xí)的發(fā)展，業(yè)界開始使用特別設(shè)計的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）對三維的點云聚類進行分類。

然而，不論是提取特征-SVM的方法還是原始點云-CNN的方法，由于激光雷達點云本身解析度低的原因，對于反射點稀疏的目標（比如說行人），基于點云的分類并不可靠，所以在實踐中，我們往往融合激光雷達和相機傳感器，利用相機的高分辨率來對目標進行分類，利用Lidar的可靠性對障礙物檢測和測距，融合兩者的優(yōu)點完成環(huán)境感知。

在無人駕駛系統(tǒng)中，我們通常使用圖像視覺來完成道路的檢測和道路上目標的檢測。道路的檢測包含對道路線的檢測（Lane Detection），可行駛區(qū)域的檢測（Drivable Area Detection）；道路上路標的檢測包含對其他車輛的檢測（Vehicle Detection），行人檢測（Pedestrian Detection），交通標志和信號的檢測（Traffic Sign Detection）等所有交通參與者的檢測和分類。

車道線的檢測涉及兩個方面：第一是識別出車道線，對于彎曲的車道線，能夠計算出其曲率，第二是確定車輛自身相對于車道線的偏移（即無人車自身在車道線的哪個位置）。一種方法是抽取一些車道的特征，包括邊緣特征（通常是求梯度，如索貝爾算子），車道線的顏色特征等，使用多項式擬合我們認為可能是車道線的像素，然后基于多項式以及當(dāng)前相機在車上掛載的位置確定前方車道線的曲率和車輛相對于車道的偏離。

可行駛區(qū)域的檢測目前的一種做法是采用深度神經(jīng)網(wǎng)絡(luò)直接對場景進行分割，即通過訓(xùn)練一個逐像素分類的深度神經(jīng)網(wǎng)絡(luò)，完成對圖像中可行駛區(qū)域的切割。

交通參與者的檢測和分類目前主要依賴于深度學(xué)習(xí)模型，常用的模型包括兩類：

以RCNN為代表的基于Region Proposal的深度學(xué)習(xí)目標檢測算法（RCNN，SPP-NET，F(xiàn)ast-RCNN，F(xiàn)aster-RCNN等）；

以YOLO為代表的基于回歸方法的深度學(xué)習(xí)目標檢測算法（YOLO，SSD等）

▌定位

在無人車感知層面，定位的重要性不言而喻，無人車需要知道自己相對于環(huán)境的一個確切位置，這里的定位不能存在超過10cm的誤差，試想一下，如果我們的無人車定位誤差在30厘米，那么這將是一輛非常危險的無人車（無論是對行人還是乘客而言），因為無人駕駛的規(guī)劃和執(zhí)行層并不知道它存在30厘米的誤差，它們?nèi)匀话凑斩ㄎ痪珳实那疤醽碜龀鰶Q策和控制，那么對某些情況作出的決策就是錯的，從而造成事故。由此可見，無人車需要高精度的定位。

目前使用最廣泛的無人車定位方法當(dāng)屬融合全球定位系統(tǒng)（Global Positioning System，GPS）和慣性導(dǎo)航系統(tǒng)（Inertial Navigation System）定位方法，其中，GPS的定位精度在數(shù)十米到厘米級別之間，高精度的GPS傳感器價格也就相對昂貴。融合GPS/IMU的定位方法在GPS信號缺失，微弱的情況下無法做到高精度定位，如地下停車場，周圍均為高樓的市區(qū)等，因此只能適用于部分場景的無人駕駛?cè)蝿?wù)。

地圖輔助類定位算法是另一類廣泛使用的無人車定位算法，同步定位與地圖構(gòu)建（Simultaneous Localization And Mapping，SLAM）是這類算法的代表，SLAM的目標即構(gòu)建地圖的同時使用該地圖進行定位，SLAM通過利用已經(jīng)觀測到的環(huán)境特征確定當(dāng)前車輛的位置以及當(dāng)前觀測特征的位置。

這是一個利用以往的先驗和當(dāng)前的觀測來估計當(dāng)前位置的過程，實踐上我們通常使用貝葉斯濾波器（Bayesian filter）來完成，具體來說包括卡爾曼濾波（Kalman Filter），擴展卡爾曼濾波（Extended Kalman Filter）以及粒子濾波（Particle Filter）。

SLAM雖然是機器人定位領(lǐng)域的研究熱點，但是在實際無人車開發(fā)過程中使用SLAM定位卻存在問題，不同于機器人，無人車的運動是長距離的，大開放環(huán)境的。在長距離的運動中，隨著距離的增大，SLAM定位的偏差也會逐漸增大，從而造成定位失敗。

在實踐中，一種有效的無人車定位方法是改變原來SLAM中的掃描匹配類算法，具體來說，我們不再在定位的同時制圖，而是事先使用傳感器如激光雷達對區(qū)域構(gòu)建點云地圖，通過程序和人工的處理將一部分“語義”添加到地圖中（例如車道線的具體標注，路網(wǎng)，紅綠燈的位置，當(dāng)前路段的交通規(guī)則等等），這個包含了語義的地圖就是我們無人駕駛車的高精度地圖（HD Map）。

在實際定位的時候，使用當(dāng)前激光雷達的掃描和事先構(gòu)建的高精度地圖進行點云匹配，確定我們的無人車在地圖中的具體位置，這類方法被統(tǒng)稱為掃描匹配方法（Scan Matching），掃描匹配方法最常見的是迭代最近點法（Iterative Closest Point ，ICP），該方法基于當(dāng)前掃描和目標掃描的距離度量來完成點云配準。

除此以外，正態(tài)分布變換（Normal Distributions Transform，NDT）也是進行點云配準的常用方法，它基于點云特征直方圖來實現(xiàn)配準。基于點云配準的定位方法也能實現(xiàn)10厘米以內(nèi)的定位精度。

雖然點云配準能夠給出無人車相對于地圖的全局定位，但是這類方法過于依賴事先構(gòu)建的高精度地圖，并且在開放的路段下仍然需要配合GPS定位使用，在場景相對單一的路段（如高速公路），使用GPS加點云匹配的方法相對來說成本過高。

▌規(guī)劃

任務(wù)規(guī)劃

無人駕駛規(guī)劃系統(tǒng)的分層結(jié)構(gòu)設(shè)計源于2007年舉辦的DAPRA城市挑戰(zhàn)賽，在比賽中多數(shù)參賽隊都將無人車的規(guī)劃模塊分為三層設(shè)計：任務(wù)規(guī)劃，行為規(guī)劃和動作規(guī)劃，其中，任務(wù)規(guī)劃通常也被稱為路徑規(guī)劃或者路由規(guī)劃（Route Planning），其負責(zé)相對頂層的路徑規(guī)劃，例如起點到終點的路徑選擇。

我們可以把我們當(dāng)前的道路系統(tǒng)處理成有向網(wǎng)絡(luò)圖（Directed Graph Network），這個有向網(wǎng)絡(luò)圖能夠表示道路和道路之間的連接情況，通行規(guī)則，道路的路寬等各種信息，其本質(zhì)上就是我們前面的定位小節(jié)中提到的高精度地圖的“語義”部分，這個有向網(wǎng)絡(luò)圖被稱為路網(wǎng)圖（Route Network Graph），如下圖所示：

這樣的路網(wǎng)圖中的每一個有向邊都是帶權(quán)重的，那么，無人車的路徑規(guī)劃問題，就變成了在路網(wǎng)圖中，為了讓車輛達到某個目標（通常來說是從A地到B地），基于某種方法選取最優(yōu)（即損失最小）的路徑的過程，那么問題就變成了一個有向圖搜索問題，傳統(tǒng)的算法如迪科斯徹算法（Dijkstra’s Algorithm）和A*算法（A* Algorithm）主要用于計算離散圖的最優(yōu)路徑搜索，被用于搜索路網(wǎng)圖中損失最小的路徑。

行為規(guī)劃

行為規(guī)劃有時也被稱為決策制定（Decision Maker），主要的任務(wù)是按照任務(wù)規(guī)劃的目標和當(dāng)前的局部情況（其他的車輛和行人的位置和行為，當(dāng)前的交通規(guī)則等），作出下一步無人車應(yīng)該執(zhí)行的決策，可以把這一層理解為車輛的副駕駛，他依據(jù)目標和當(dāng)前的交通情況指揮駕駛員是跟車還是超車，是停車等行人通過還是繞過行人等等。

行為規(guī)劃的一種方法是使用包含大量動作短語的復(fù)雜有限狀態(tài)機（Finite State Machine，F(xiàn)SM）來實現(xiàn)，有限狀態(tài)機從一個基礎(chǔ)狀態(tài)出發(fā)，將根據(jù)不同的駕駛場景跳轉(zhuǎn)到不同的動作狀態(tài)，將動作短語傳遞給下層的動作規(guī)劃層，下圖是一個簡單的有限狀態(tài)機：

如上圖所示，每個狀態(tài)都是對車輛動作的決策，狀態(tài)和狀態(tài)之間存在一定的跳轉(zhuǎn)條件，某些狀態(tài)可以自循環(huán)（比如上圖中的循跡狀態(tài)和等待狀態(tài)）。雖然是目前無人車上采用的主流行為決策方法，有限狀態(tài)機仍然存在著很大的局限性：首先，要實現(xiàn)復(fù)雜的行為決策，需要人工設(shè)計大量的狀態(tài)；車輛有可能陷入有限狀態(tài)機沒有考慮過的狀態(tài)；如果有限狀態(tài)機沒有設(shè)計死鎖保護，車輛甚至可能陷入某種死鎖。

動作規(guī)劃

通過規(guī)劃一系列的動作以達到某種目的（比如說規(guī)避障礙物）的處理過程被稱為動作規(guī)劃。通常來說，考量動作規(guī)劃算法的性能通常使用兩個指標：計算效率（Computational Efficiency）和完整性（Completeness），所謂計算效率，即完成一次動作規(guī)劃的處理效率，動作規(guī)劃算法的計算效率在很大程度上取決于配置空間（Configuration Space），如果一個動作規(guī)劃算法能夠在問題有解的情況下在有限時間內(nèi)返回一個解，并且能夠在無解的情況下返回?zé)o解，那么我們稱該動作規(guī)劃算法是完整的。

配置空間：一個定義了機器人所有可能配置的集合，它定義了機器人所能夠運動的維度，最簡單的二維離散問題，那么配置空間就是[x, y]，無人車的配置空間可以非常復(fù)雜，這取決于所使用的運動規(guī)劃算法。

在引入了配置空間的概念以后，那么無人車的動作規(guī)劃就變成了：在給定一個初始配置（Start Configuration），一個目標配置（Goal Configuration）以及若干的約束條件（Constraint）的情況下，在配置空間中找出一系列的動作到達目標配置，這些動作的執(zhí)行結(jié)果就是將無人車從初始配置轉(zhuǎn)移至目標配置，同時滿足約束條件。

在無人車這個應(yīng)用場景中，初始配置通常是無人車的當(dāng)前狀態(tài)（當(dāng)前的位置，速度和角速度等），目標配置則來源于動作規(guī)劃的上一層——行為規(guī)劃層，而約束條件則是車輛的運動限制（最大轉(zhuǎn)角幅度，最大加速度等）。

顯然，在高維度的配置空間來動作規(guī)劃的計算量是非常巨大的，為了確保規(guī)劃算法的完整性，我們不得不搜索幾乎所有的可能路徑，這就形成了連續(xù)動作規(guī)劃中的“維度災(zāi)難”問題。目前動作規(guī)劃中解決該問題的核心理念是將連續(xù)空間模型轉(zhuǎn)換成離散模型，具體的方法可以歸納為兩類：組合規(guī)劃方法（Combinatorial Planning）和基于采樣的規(guī)劃方法（Sampling-Based Planning）。

運動規(guī)劃的組合方法通過連續(xù)的配置空間找到路徑，而無需借助近似值。由于這個屬性，它們可以被稱為精確算法。組合方法通過對規(guī)劃問題建立離散表示來找到完整的解，如在Darpa城市挑戰(zhàn)賽（Darpa Urban Challenge）中，CMU的無人車BOSS所使用的動作規(guī)劃算法，他們首先使用路徑規(guī)劃器生成備選的路徑和目標點（這些路徑和目標點事融合動力學(xué)可達的），然后通過優(yōu)化算法選擇最優(yōu)的路徑。

另一種離散化的方法是網(wǎng)格分解方法（Grid Decomposition Approaches），在將配置空間網(wǎng)格化以后我們通常能夠使用離散圖搜索算法（如A*）找到一條優(yōu)化路徑。

基于采樣的方法由于其概率完整性而被廣泛使用，最常見的算法如PRM（Probabilistic Roadmaps），RRT（Rapidly-Exploring Random Tree），F(xiàn)MT（Fast-Marching Trees），在無人車的應(yīng)用中，狀態(tài)采樣方法需要考慮兩個狀態(tài)的控制約束，同時還需要一個能夠有效地查詢采樣狀態(tài)和父狀態(tài)是否可達的方法。后文我們將詳細介紹State-Lattice Planners，一種基于采樣的運動規(guī)劃算法。

▌控制

控制層作為無人車系統(tǒng)的最底層，其任務(wù)是將我們規(guī)劃好的動作實現(xiàn)，所以控制模塊的評價指標即為控制的精準度。控制系統(tǒng)內(nèi)部會存在測量，控制器通過比較車輛的測量和我們預(yù)期的狀態(tài)輸出控制動作，這一過程被稱為反饋控制（Feedback Control）。

反饋控制被廣泛的應(yīng)用于自動化控制領(lǐng)域，其中最典型的反饋控制器當(dāng)屬PID控制器（Proportional-Integral-Derivative Controller），PID控制器的控制原理是基于一個單純的誤差信號，這個誤差信號由三項構(gòu)成：誤差的比例（Proportion），誤差的積分（Integral）和誤差的微分（Derivative）。

PID控制因其實現(xiàn)簡單，性能穩(wěn)定到目前仍然是工業(yè)界最廣泛使用的控制器，但是作為純反饋控制器，PID控制器在無人車控制中卻存在一定的問題：PID控制器是單純基于當(dāng)前誤差反饋的，由于制動機構(gòu)的延遲性，會給我們的控制本身帶來延遲，而PID由于內(nèi)部不存在系統(tǒng)模型，故PID不能對延遲建模，為了解決這一問題，我們引入基于模型預(yù)測的控制方法。

預(yù)測模型：基于當(dāng)前的狀態(tài)和控制輸入預(yù)測未來一段時間的狀態(tài)的模型，在無人車系統(tǒng)中，通常是指車輛的運動學(xué)/動力學(xué)模型；

反饋校正：對模型施加了反饋校正的過程，使預(yù)測控制具有很強的抗擾動和克服系統(tǒng)不確定性的能力。

滾動優(yōu)化：滾動地優(yōu)化控制序列，以得到和參考軌跡最接近的預(yù)測序列。

參考軌跡：即設(shè)定的軌跡。

下圖表示模型預(yù)測控制的基本結(jié)構(gòu)，由于模型預(yù)測控制基于運動模型進行優(yōu)化，在PID控制中面臨的控制延時問題可以再建立模型考慮進去，所以模型預(yù)測控制在無人車控制中具有很高的應(yīng)用價值。

▌小結(jié)

在本結(jié)我們概述了無人駕駛系統(tǒng)的基本結(jié)構(gòu)，無人駕駛軟件系統(tǒng)通常被劃分為三層：感知，規(guī)劃和控制。從某種程度上而言，無人車在這種分層體系下就可以看作是一個“載人機器人”，其中，感知具體包括環(huán)境感知和定位，近年來深度學(xué)習(xí)的突破，使得基于圖像和深度學(xué)習(xí)的感知技術(shù)在環(huán)境感知中發(fā)揮了越來越重要的作用，借助人工智能，我們已經(jīng)不再局限于感知障礙物，而逐漸變成理解障礙物是什么，理解場景，甚至預(yù)測目標障礙物的行為，機器學(xué)習(xí)和深度學(xué)習(xí)的內(nèi)容我們將在后面兩章詳細了解。

在實際的無人車感知中，我們通常需要融合激光雷達，相機和毫米波雷達等多種測量，這里涉及到的如卡爾曼濾波，擴展卡爾曼濾波等融合算法以及激光雷達。

無人車和機器人的定位方法眾多，目前主流的方法一是使用GPS+慣性導(dǎo)航系統(tǒng)融合的方法，二是基于Lidar點云掃描匹配的方法，將重點介紹ICP，NDT等基于點云匹配的算法。

規(guī)劃模塊內(nèi)部也被分成三層：任務(wù)規(guī)劃（也被稱為路徑規(guī)劃），行為規(guī)劃和動作規(guī)劃。后文會介紹基于路網(wǎng)和離散路徑搜索算法的任務(wù)規(guī)劃方法，在行為規(guī)劃中，我們將重點介紹有限狀態(tài)機在行為決策中的應(yīng)用，在動作規(guī)劃算法層，重點介紹基于采樣的規(guī)劃方法。

無人車的控制模塊我們往往會使用基于模型預(yù)測的控制方法，但是在了解模型預(yù)測控制算法之前，作為對基礎(chǔ)反饋控制的了解，我們前面了解了PID控制器。接著我們學(xué)習(xí)兩類最簡單的車輛模型——運動學(xué)自行車模型和動力學(xué)自行車模型，最后，我們介紹模型預(yù)測控制。

雖然將無人車理解為機器人并且使用機器人開發(fā)的思維處理無人車系統(tǒng)是目前工業(yè)界的共識，但是也不乏一些單純使用人工智能或者是智能體來完成無人駕駛的案例。其中基于深度學(xué)習(xí)的端到端無人駕駛和基于強化學(xué)習(xí)的駕駛智能體是目前的研究熱點。