為了能夠滿足自動駕駛汽車在復雜交通場景中安全高效運行，自動駕駛汽車必須做到對周圍對象不確定性行為進行準確預測。作為自動駕駛的關鍵技術，近年來不斷有新的軌跡預測思路和算法被提出，尤其是針對復雜交通場景中的對象軌跡預測。通過將復雜交通場景中的預測對象分為：車輛軌跡預測和行人軌跡預測2類，在此基礎上對不同預測對象采用近年來的主流預測算法進行分類總結。最后討論了當前行為預測存在的問題，并提出了一些有價值的研究展望。

1 前言

近年，自動駕駛技術飛速發展，促進了感知技術的研究，目標檢測、識別追蹤等感知方面的技術也得到了快速發展。然而，隨著自動駕駛技術研究邁向L5級，國內的自動駕駛車輛實現了固定場景或者相對復雜場景下的低速運用，如何實現自動駕駛車輛全場景任意速度運行的課題成為當前研究的熱點。

自動駕駛的行為預測技術便是實現這一愿景的核心挑戰，因為只有自動駕駛車輛能像人類駕駛一樣對周圍目標（車輛、行人等）的意圖和未來軌跡做出準確的判斷，才能合理規劃自身的運動軌跡，實現安全、平穩的導航。行為預測作為自動駕駛領域最具挑戰性的研究方向，主要包含2個方面：車輛軌跡預測和行人軌跡預測。

其最明顯的特點就在于預測對象未來意圖和行為的不確定性，即每個預測對象的未來動作主要受對象主觀影響，導致就算是同一場景甚至是同一工作狀態下不同的對象也會做出不同的行為決策，由于這種預測對象多模態決策的存在，使得本就復雜的軌跡預測問題變得更加復雜。

本文針對復雜交通場景下的自動駕駛車輛軌跡預測問題，綜述近幾年的相關研究成果，并且以復雜交通場景下的不同預測對象進行分類展開總結。文章第2章節主要對復雜交通場景進行了簡要概述。文章的第3章節分為2個部分展開：

（1）總結了復雜交通場景下車輛在可觀測和受遮擋情況下的軌跡預測的相關成果。

（2）總結了復雜交通場景下行人在可觀測和受遮擋情況下軌跡預測的相關成果。

最后，第4章節進行總結并且基于當下領域的研究現狀提出展望。

2 復雜交通場景概述

復雜交通場景的類型主要可以歸為2大類：

（1）交通道路結構復雜的各種交叉口場景。

（2）車輛高速行駛的高速路段場景。

交叉口作為1種典型的復雜交通場景，因為其道路結構復雜存在較多沖突點以及交通參與者類型較多，所以在其發揮自身重要交通作用的同時也存在著十分嚴重的問題，據美國國家公路安全管理局的報告顯示美國有超過四分之一的交通事故發生在交叉路口場景，其中在無信號燈交叉路口的事故率大約占到了50%[1]。

而針對高速路段場景，雖然自身的交通道路結構和交通參與者的類型沒有交叉口場景那么復雜，但因為高速路段車輛機動速度快，所以相比于一般道路場景在車輛的變道、超車、匯流等特定場景下更加復雜，需要更快的反應速度和反應精度。所以針對復雜交通場景的特點對自動駕駛車輛的軌跡預測的準確性和效率提出了很高的要求。

結合交通道路拓撲結構、交通參與者類型數量、參與者自身速度3個方面的特點，主要總結了6種典型的復雜交通場景：T形路口場景、十字路口場景、錯位交叉路口場景、路口匯流場景、環島場景、復雜混合路口場景，如圖1所示。

圖1 復雜交通路口場景

3 預測對象分類與算法總結

在本章中，將復雜交通場景中自動駕駛汽車的行為預測對象分為車輛軌跡預測、行人軌跡預測2類，在此基礎上針對不同預測對象綜述總結近年來的主要研究方法。

3.1 車輛的軌跡預測

車輛的軌跡預測，即是通過自動駕駛車輛自身所裝配的各種傳感器去準確檢測周圍車輛當前的位置、速度、運動方向等信息然后用于對其未來軌跡的預測。近年來對于車輛的軌跡預測方法主要分為2類：基于強化學習模型方法和基于神經網絡的交互學習和社會感知方法。

基于模型的方法運用適當學習算法達到在特定場景中運用的效果。基于博弈模型的方法近年常被用作智能車的軌跡預測，Li等針對交叉路口和高速路段場景提出了1種兩人實時的動態博弈模型，運用分層預測思想，在考慮預測軌跡的成本和安全系數的基礎上結合認知行為模型得出預測軌跡，Chandra等在單一博弈模型方法的基礎上創新的將博弈模型與基于機器人學開發的1種可以通過傳感器檢測周圍目標動作的GAMEPLAY方法結合，在通過用于行為建模和預測的CMMetric算法對周圍車輛的CMetric值排序從而確定周圍車輛的通行順序以此來預測軌跡。

以上2種基于博弈模型的方法都是針對2者之間的博弈，無法滿足目標車輛較多場景的軌跡預測。Hang等針對這個問題，提出了1種基于模型預測控制（Model Predictive Control,MPC）建立聯盟博弈方法，考慮不同交互駕駛行為的多車道合并場景的車輛協同軌跡預測問題，其核心思想是將多車道合并區域的車輛進行相互博弈，并且這種博弈是相互關聯的，最終拓展成為整個局部區域的所有車輛的博弈，通過求解整體代價最小的方式去預測軌跡。此聯盟博弈方法是1種傳統兩者博弈模型的拓展，能夠應用于復雜場景下的多對象車輛博弈。

除了基于博弈模型的軌跡預測外，Shu等針對交叉路口場景的左轉問題提出了根據道路模型（圖2），標記出關鍵轉折點，在關鍵轉折點處運用分層規劃的思想，采用部分可觀測馬爾可夫（Partially Observable Markov Decision Processes,POMDP）架構將關鍵點處的軌跡問題分為高、低2個層次的路徑預測，通過高層路徑預測獲得候選路徑，再通過低層擬人思想獲取最優預測軌跡。

Bouton等在單POMDP方法的基礎上提出新的利用效用融合的POMDP方法，通過先對每個目標單獨計算最優狀態，在融合獲得全局最優狀態，從而推斷目標車輛的未來軌跡預測。

圖2 基于ECT標準交叉口分層次預測規劃方法

基于神經網絡的交互學習方法是近年來對于自動駕駛軌跡預測的主流研究方向。其中，基于深度學習的長短期記憶網絡（Long-Short Term Memory,LSTM）及其變體近年來常被用于自動駕駛車輛的軌跡預測研究，LSTM網絡作為循環神經網絡（Recurrent Neural Network,RNN）的1種升級變體，因其具有門控裝置，可以控制每一時刻信息的記憶與遺忘，對信息有了篩選保留的能力，可以進行長序列的信息處理，對于自動駕駛車輛軌跡的長期預測效果很好。

Zeng等將軌跡預測問題轉化為序列預測問題，通過將復雜交叉路口場景中的車輛軌跡進行序列化，提出了1種基于序列生成模型（Sequence to Sequence,Seq2Seq）結構，在時間圖和空間圖上運用LSTM網絡獲取預測車輛當前的位姿和關鍵交互信息。從而自動駕駛車輛提供更合理的軌跡預測。

Han等針對高速公路交織區域的車輛變道場景，提出了注意力Seq2Seq網絡，采用LSTM編-解碼器進行目標車輛的變道軌跡預測，并結合注意力機制關注變道過程中的關鍵信息，其在長時期的變道軌跡預測中有明顯的優勢。

但采用單一的LSTM神經網絡用于預測軌跡仍有很多缺陷，所以有研究人員也提出采用混合神經網絡去完善預測效果。Ji等提出LSTM網絡的預測模型，模型由意識識別和軌跡輸出模塊組成。前者利用Softmax函數得出換道和車道保持的概率，在通過基于LSTM的編-解碼器和混合密度網絡（Mixture Density Networks，MDN）的輸出模塊輸出包含軌跡被采用概率的多模態預測軌跡。

Pan等提出了1種利用車輛歷史運動和環境信息預測軌跡的深度神經網絡（Deep Neural Networks，DNN），利用LSTM和注意力機制學習車輛意圖和車輛位置變化，從而預測軌跡。Hsu等提出了1種結合卷積LSTM和深度卷積神經網絡（Convolutional Neural Networks，CNN）的卷積-循環框架（CNNLSTM），通過檢測周圍車輛的尾部信號燈狀態去預測車輛意圖，例如通過檢測到轉向燈亮起，預測車輛將會進行轉向，通過檢測剎車燈亮起，預測車輛將會減速或停車,但由于其只對車輛尾部信號燈狀態進行研究，不能滿足多場景化需求。

Frossard等在此循環框架中加入1種充分學習模型，利用空間和時間特征分類轉向信號狀態，通過判斷不同運動方向（同向、反向）車輛信號燈狀態預測車輛意圖（圖3）。Jeong等提出基于LSTM-RNN結構的運動預測器僅使用從傳感器上采集的信息，在只考慮自身與周圍車輛狀態的前提下，將基于MPC得到的目標車輛的未來狀態，作為車輛間相互作用的特征量輸入基于LSTM-RNN的運動預測器去預測軌跡（圖4）。

圖3 卷積-循環網絡框架

圖4 LSTM-RNN單步預測器框架

此外，由于基于神經網絡的多模態軌跡預測能夠提供更長期的預測，近年來也常被用于自動駕駛車輛的軌跡預測研究，例如Cui等針對復雜交互場景提出的1種通過將周圍車輛進行編碼處理為光柵圖像輸入深度神經網絡（CNN）中實現多模態的軌跡預測模型，并且這些預測軌跡都包含了對應的軌跡可能被采納的概率值。Choi等提出的基于圖神經網絡（Graph Neural Networks，GNN）的跨模式框架，通過將多種傳感器對同一目標的檢測數據進行聯合學習和優化獲得預測軌跡。

Li等針對高交互的復雜場景，提出了1種用于長時間軌跡預測的基于條件軌跡預測的條件生成神經系統（Conditional Generative Neural System，CGNS），此系統利用已有的數據庫場景信息和實時檢測數據預測周圍多個高交互車輛的未來軌跡，聯合2者并引入注意力機制對關鍵區域進行標注，生成多模態的預測軌跡。

Kim等提出1種新的基于車道感知預測網絡的軌跡預測模型（圖5），區別于以前使用光柵圖像作為輸入，而是直接從語義地圖中提取車道信息來進行軌跡預測，對所預測車輛、預測車輛周圍的車輛和有清晰環境信息與目標車輛交互信息的車道3者之間的復雜關系進行捕捉，結合無監督學習模型通過設置的權重去確定最合理預測軌跡的車道，提高預測精度，最后基于在編-解碼器結合周圍環境生成多模態的未來軌跡。

圖5 Lapred網絡總體結構

此外，針對自動駕駛車輛的傳感器檢測能力受周圍環境的影響很大，常常出現由于周圍環境遮擋、檢測目標距離太遠、天氣能見度低等各種因素的影響無法對目標進行準確檢測，從而導致漏檢誤檢的情況發生，使得自動駕駛車輛無法對周圍目標車輛作出正確預測。

Ren等提出具有安全意識基于深度學習的社會感知神經網絡模型（圖6），用于預測最早占用地圖（Occupancy Grid Map，OGM）對可見和不可見車輛占用的每個位置，確定其最早時間，用于描述車輛未來的運動。其本質目的是用于預測可能導致碰撞的危險軌跡，并且為了安全和準確，應使每個軌跡點的預計到達時間提前于實際到達時間，但在一定范圍內。

與之相似的Wang等提出的基于深度神經網絡的占用預測網絡（Occupancy Prediction Network，OPNet），通過利用環境信息學習先驗知識來預測遮擋空間中對象分布的輕量級3維卷積網絡。Sun等提出1種基于社會感知神經網絡的社會凝聚力智能車軌跡預測方法，可以根據周圍絕大多數與自車行為相似的車輛（相鄰同向車道或同車道車輛）行為來調整自身行為，及周圍大部分相關車輛進行什么行為，自己也進行什么行為，并且對于不同的場景算法還可以關注特定場景中的關鍵參數達到優化軌跡預測，例如高速場景下主要關注周圍車輛的速度信息。

圖6 U-Net軌跡預測網絡框架

除了以上基于模型和基于神經網絡的軌跡預測方法以外，ALBRECHT和Li等提出了1種基于逆向規劃的方法，主要通過檢測周圍車輛當前的動作來推斷其在當前場景下的目標點(將要駛入的路口)，在以目標點為基礎來預測車輛的軌跡，同時采用蒙特卡羅樹搜索（Monte Carlo Tree Search，MCTS）算法來規劃自身軌跡，只不過Li等的方法區別于ALBRECHT等的最終獲得預測軌跡是多模態的而非單獨的最佳預測軌跡。Narayanan等提出了1個ALAN（A Lane Anchors）的預測框架，不再運用柵格圖像和高精地圖作為輸入信息，創新的采用車道中心線為參考，輸出具有強語義的環境感知數據，并且獲得多模態的預測軌跡。

本小節總結了車輛在復雜交通場景中的軌跡預測算法并將算法分為基于強化學習模型的算法、基于神經網絡的算法與其它算法3部分，見表1。

表1 復雜交通場景中的車輛軌跡預測算法

3.2 行人的軌跡預測

由于行人的運動具有高度的不確定性和多模態性，自動駕駛系統無法在有限的計算時間內做出反應，如果僅根據當前的行人狀態去規劃自身路徑無法滿足時效性并且還可能導致安全事故發生，所以行人軌跡的預測一直都是自動駕駛汽車發展面臨的挑戰之一。

目前，行人軌跡預測研究思路主要分為2類：

（1）基于模型的方法；

（2）基于神經網絡和注意力機制結合的方法。

基于模型的方法有基于高斯過程模型、基于社會力模型等。Mínguez等提出了1種通過采集行人身體的關鍵部位特征比如肩部的信息，運用基于平衡的高斯過程動力學模型去預測行人軌跡。Rinke等在社會力模型的基礎上，提出了1種多層次的道路使用者運動及其交互的描述方法，將行人運動目標點與可能軌跡分層討論。

通過先確定目標點在利用拉格朗日多項式依次估計其他軌跡然后在運用基于社會力模型的規避沖突策略進行軌跡選擇，生成最佳預測軌跡。Yang等提出將社會力模型和行人走、停決策結合的改進社會力模型（圖7），去預測行人未來2 s運動軌跡的終點的行人軌跡預測方法。

但基于模型的方法對理論和場景的依賴性強，并且需要大量的數據去訓練模型，所以近年更多的研究者還是致力于基于神經網絡和注意力機制結合的方法，一般以RNN/LSTM/GRU等遞歸神經網絡及其變體為主結合注意力機制。Zhou等通過考慮單個行人的運動信息以及和周圍行人的交互信息，運用循環神經網絡（RNN）和圖卷積網絡（Graph Convolutional Networks，GCN）對行人狀態以及彼此交互進行模擬（圖8），并結合注意力機制和結伴損失函數來預測軌跡。

Zhang等提出將生成對抗網絡和注意力機制結合的方法，其核心是通過注意力機制處理環境中的關鍵信息，通過社會注意力機制處理人與人之間的行為交互信息，在通過基于LSTM網絡的對抗模塊去預測多條合理軌跡。Liang等提出1種用于預測人軌跡和未來活動的神經網絡模型，通過捕捉人類外觀、肢體動作、與周圍環境的交互等視覺特征生成模型用于軌跡預測。

Liu等提出了1種基于圖卷積的行人是否橫穿道路的預測模型，通過只關注行人與周圍環境的關系以及行人自身的肢體動作進行推理，預測未來一個時間范圍內行人軌跡。Shi等提出了1種新穎的解析圖卷積網絡（Sparse Graph Convolution Network，SGCN），將稀疏有向交互和運動趨勢相結合，用于行人軌跡預測，采用基于注意力機制的稀疏圖學習方法對軌跡點進行打分，并反饋到非對稱卷積網絡中，以獲得高級交互特征，歸一化處理后得到的鄰接矩陣可以表示稀疏圖，最后結合圖卷積網絡估計用于軌跡預測的雙高斯分布的參數去預測軌跡。

相比于以前的預測建模方法，它對交互的行人信息、車輛信息、環境信息進行了有針對性的選擇，而非以往的直接將一定范圍內的所有以上信息無差別的用于建模（圖8）。Tim等提出1種考慮動力學約束的基于學習的多智能體軌跡預測方法，除了考慮先前軌跡，還同時考慮了目標的動力學約束，確保了實際下的可行性，同時對其他的不同來源的數據信息進行融合，給出更具有針對性的預測軌跡。

Neumann等使用自我監督方式訓練的預測網絡，基于行人的運動相對于全局場景的影響小，將場景中的行人運動和自己車輛運動分開考慮，訓練了1個自我運動預測網絡，核心思想可以理解為一定時間內先得出自身的軌跡，然后通過自我的監督方法，抵消掉自身位置變化對行人軌跡預測的影響，相當于這時車載攝像頭是靜止于某個點的去觀測行人的運動，行人軌跡變化的參考與自車的狀態無關，而只以預測行人周圍的元素為參考去預測，這種不考慮可變視點就可以避免因為不斷變化的攝像頭視點、遮擋和其他場景動態帶來的預測困難。

圖7 Trajectory++軌跡預測網絡框架

圖8 SGCN網絡框架

Lian等[37]提出應對復雜場景下行人軌跡預測的方法，基于LSTM網絡建立了基于人-車交互的行人軌跡預測模型（Vehicles And Pedestrians Trajectory Prediction Model Based On LSTM，VP-LSTM），核心思想是以行人的速度、行人間位置關系、人車間位置關系為初始數據通過社會注意力機制進行篩選，將篩選信息通過LSTM網絡得出預測軌跡。

Hu等[38]提出的預測行人運動預測系統（Pedestrian Motion Prediction System Based On NMMP，PMP-NMMP），先通過基于LSTM網絡的NMMP架構進行行人的軌跡預測，NMMP架構系統包含單一分支和交互分支2個部分，單一分支用于對每個參與者進行軌跡預測和交互分支用于對參與者間的可能交互進行預測，由2個分支結合得出候選軌跡，最后PMP將候選軌跡分類為真軌跡或假軌跡，得到最終預測軌跡。

除了以上基于模型和基于神經網絡和注意力機制結合的軌跡預測方法以外,Yao等[39]針對目前模型預測多基于以往軌跡多次預測導致的隨重復預測次數增加誤差不斷增大問題，提出基于目標估計的雙向多模態軌跡預測方法，模型由2部分組成：

（1）多模態目標估計器用于先估計可能的目標終點；

（2）目標條件雙向軌跡預測器，進行以當前點和目標點同時作為起始點的雙向軌跡預測，從而減少較長預測范圍內的累積誤差。

Shafiee等[40]使用條件3維視覺注意機制進行人體軌跡預測，通過2個并行編碼流和1個解碼流，2個并行編碼流收集與目標人體相關的3維視覺和運動學信息，只需要對目標及其相關信息進行收集，1個解碼流預測目標人體的未來軌跡，并且引入3D注意機制，提高預測精度。

本小節總結了行人在復雜交通場景下的軌跡預測算法并將算法分為基于模型的算法、基于神經網絡和注意力機制相結合的算法、其它算法3部分，見表2。

表2 復雜交通場景中的行人軌跡預測算法

4 結論

隨著自動駕駛技術的發展，傳統的預測方法已經無法滿足自動駕駛車輛對任意行駛場景和速度的要求。本文綜合近幾年自動駕駛行為預測技術的發展情況，立足于復雜的交通交互場景，通過對場景中不同預測對象進行分類并總結相應的行為預測算法。

當前比較先進的行為預測思路還是采用神經網絡，也取得了不錯的效果，但由于模型訓練需要大量的多樣性數據，導致模型的訓練困難。此外，目前的行為預測系統需要多種傳感器設備的數據支撐，其中就包括了激光雷達一類高成本的設備。因此，接下來自動駕駛行為預測的研究可以從以下4方面展開：

（1）創新和優化算法，對于基于神經網絡一類需要預先訓練的算法要降低訓練的復雜度，同時在算法層面去減少對傳感器種類和數量的依賴，能夠在提升預測效果的基礎上優化硬件配置。

（2）車路協同預測，目前的自動駕駛軌跡預測還是主要依賴自動駕駛車輛自身的傳感器進行數據采集和預測，可以考慮將自動駕駛車輛和路測設備結合的預測思路，即將當前場景中路測設備收集的數據直接提供或進行預處理后提供給自動駕駛車輛去進行行為預測，這樣不僅可以提高預測準確度而且可以降低整體的設備成本。

（3）受遮擋對象的行為預測，目前這一部分的研究還很少，主要還是基于社會感知的思路去進行預測，但實際的實現效果并不理想，作為軌跡預測中無法回避且十分重要的內容，需要針對這一問題提出更多方法。

（4）行人行為預測，行人對象具有目標小且行為不確定性大的特點。而當前主要采用檢測行人肢體動作和人群交互行為的方法實際運用時準確率很低，原因在于本身肢體動作的準確檢測就很困難，再加之要根據其完成行為預測可以想象是十分困難的，如果在加上環境因素（下雨、起霧等）那么這些方法基本就不在可行，所以如何提高行人行為的準確預測也需要提出更好的方法。

審核編輯：劉清