基于場景的自動駕駛驗證策略

引言

自動駕駛功能的出現可以很大地降低由人為因素造成的交通事故,隨之如何檢驗和驗證自動駕駛系統及車輛的可靠性變得至關重要。但常見的測試驗證手段通常伴隨著高昂的投入成本，因此使得驗證過程變得十分困難。一個可選方案是將實際交通狀況做出總結生成具有高度代表性的交通場景，通過仿真分析自動駕駛系統在這些場景上的安全性。然而交通場景中元素的復雜性與失敗事件的罕見性導致難于準確分析系統失敗的概率和造成系統失敗的原因。本文將針對此難題，介紹一種將場景降維并極大提高分析系統失敗概率準確性的方法。

二模型定義

1.基本流程

基于 ISO 21448預期功能安全分析方法論，確定自動駕駛算法的ODD/ODC，對自動駕駛算法進行危害事件分析，將已知危害場景作為抓手，對其進行充分泛化仿真，并且挖掘未知危害場景，將未知危害場景變為已知危害場景。

本文將場景按照抽象程度分為功能場景、邏輯場景和具體場景。將真實世界中駕駛場景和ODD/ODC描述為邏輯場景的集合，通過分析每個邏輯場景的發生頻率與自動駕駛系統在其中的失敗概率估計自動駕駛系統在真實世界中的失敗概率。

2.失敗概率估算方法

為了更好地分析自動駕駛系統的失敗概率，用概率空間來表示一個邏輯場景，其中伴隨概率密度函數。而此邏輯場景下的一個具體場景可以表示為此空間中的一個點

用表示自動駕駛系統在具體場景中的某項評價指標，并不失一般性地定義該系統失敗定義為。故該系統在一個邏輯場景中的失敗概率可以表達為

若第個邏輯場景在公里的平均出現頻率為，則根據貝葉斯定理此被測試車輛或算法在公里上的平均失敗率為

3.難題

由于自動駕駛算法本身的未知性，往往無法直接計算，而空間的復雜性與失敗的罕見性引起的維度災難和罕見性災難又導致無法通過蒙特卡羅方法簡單估計。故如何構建統計量來高效估計各個場景中的失敗概率成為核心問題。

三敏感性分析

1.敏感性分析的目標

大量經驗表明系統表現并非依賴于場景中的全部元素，往往場景中部分元素取值即可以確定系統的表現是否會導致系統失效或出錯。這為基于場景的自動駕駛系統驗證提供了一種降維策略，即通過敏感性分析從眾多參數中挑選真正對自動駕駛系統表現產生影響的關鍵參數。敏感性分析過程在概率空間中采集具有代表性的樣本并通過并行仿真獲取自動駕駛系統在這些樣本上的表現。通過對這些數據進行統計分析，計算各個參數對車輛表現的重要性，即各個參數對的敏感性。

2.樣本策略

樣本采集策略大體分為固定策略和隨機/擬隨機策略。其中固定樣本策略又可以分為全因子法和部分因子法；隨機樣本策略分為單純蒙特卡羅方法以及按照不同目標優化的拉丁超立方采樣；擬隨機策略主要指各種低差異性序列采樣。固定樣本策略可以在維度相對較低時有效分析自變量和因變量間的線性或二次線性關系，而當維度上面或因果關系復雜時此方法會導致計算困難。隨機/擬隨機樣本策略則可以適應更復雜的因果關系和更高的空間維度。例如下圖分別使用拉丁超立方采樣（右圖）和三水平下的全因子法（左圖）分析函數

中的與因果關系。

可以明顯看出隨機/擬隨機策略使用的拉丁超立方采樣可以更好的體現因變量關于自變量的變化，同時在5因子3水平采樣中，全因子法需要的樣本數為3^5=243也遠大于拉丁超立方采樣用的100個。

3.分析指標

自變量對因變量重要性可以通過因變量關于自變量的變化率即偏導數、因變量和自變量間的不同相關性系數（皮爾斯、斯皮爾曼、坎德爾等）、因變量概率密度函數關于自變量變化的敏感程度即基于條件概率的敏感性、因變量方差關于自變量變化的敏感程度即基于方差的敏感性、模擬擬合的及模型擬合的預測能力等幾個方面評價。其中偏導數不適應全局敏感性分析，各種相關性系數僅能適應單調變化，模擬擬合的只能反應訓練集容易過擬合。故我們推薦使用基于條件概率/條件方差的敏感性指標+模型擬合預測能力指標COP結合的策略，先確定各個參數重要性的順序再根據COP最終選取對結果有影響的參數組合。

四失敗概率估計

成熟的自動駕駛系統對安全的要求十分嚴格，需要精準估計系統的失敗概率。而造成完善系統失敗的場景屬于罕見事件，使用蒙特卡羅方法難以尋找并精準估計其發生概率。我們推薦使用方向采樣和重要性采樣算法來來尋找失敗場景并估計失敗概率。

五數值實驗

我們使用一個顯示函數來舉例說明。選取空間中Katsuki函數作為KPI函數，即

KPI

并以作為失敗閾值，下面將通過敏感性分析和可靠性分析尋找影響系統表現的變量并估計系統失敗概率。

首先使用拉丁超立方采樣在空間進行采樣，樣本量為200，并使用基于條件概率和條件方差的敏感性指標對計算結果展示如下：

橫軸為對應的變量順序，縱軸為指標數值，橙色為基于條件方差的敏感性指標，藍色為基于條件概率的敏感性指標，黑色的豎線為指標對應的致信區間

通過上面的數據分析圖可以清楚看出因變量對于和的變化非常敏感，對剩余的變量不敏感。擬合因變量關于自變量的回歸模型并基于交叉驗證計算可以得到和組合的最優COP=98.81%，即因變量COP=98.81%的不確定性可以由和的變化解釋，故將原始的空間降維成由和組成的空間。

接下來使用重要性采樣在降維后的參數空間中分析系統的失敗概率。其中參數配置為每次迭代計算1000個實驗點，并保留其中最優的15%估計輪迭代的提議函數。具體結果展示如下：

上面的表格說明可靠性分析算法在降維后的空間中高效尋找到的失敗場景并估計其失敗概率。下面的圖片展示每輪采樣中樣本分布及KPI變化，其中藍色的點表示安全場景，黃色的點表示較為危險的場景，紅色點表示失敗場景，最后紫色的點表示尋找到的失敗臨界。

?

六應用案例

1.場景設置

基于國標G.4場景改造的邏輯場景，即雙車道、存在2輛環境車.初始環境下按照Ego、VT1、VT2從后到前的順序同屬左車道，VT2屬于靜止狀態，Ego與VT1向前行駛。

固定Ego、VT1、VT2的初始位置，相對距離為200米，對能見度、VT1初始速度、VT1與VT2的偏移、VT1觸發切出時與VT2的距離進行泛化，并以TTC作為考核指標。AD算法使用第三方提供的自動駕駛算法對車輛橫縱向行為進行控制。參數的泛化如下表所示

在進行采樣算法樣本量及被測算法仿真及評測設置后開展敏感性、可靠性分析。

2.敏感性分析

分別使用基于方差和基于概率的敏感性指標做出分析，結果均表明能見度、車道偏移量對TTC變化不明顯，而VT1初始速度及切出時間對TTC的變化起顯著作用。故后續分析將不再泛化能見度及車道偏移量3個參數，僅專注于對TTC有影響的變量實現空間降維。

3.可靠性分析

用自適應重要性采樣對該AD在該邏輯場景中的失敗概率做出分析。其中每輪采樣數量為400，保留最優樣本比例為3%（保證最后用來估計失敗概率的失敗樣本數量>=3%*400=12）。分別以TTC<3和TTC<2作為失敗閾值，使用可靠性分析算法可以得到如下失敗概率：

對AD算法的表現做出分析，可以看出危險場景并非處于邊角處，故定步長泛化可能無法探索到失敗場景。

若使用單純蒙特卡羅法找到足夠失敗場景（20個）來估計失敗率，則分別需要超過55000次和520000仿真。可靠性分析算法相較蒙特卡羅法分別節約97%和99.5%以上的成本。

通過上述方法，賽目推出Safety Pro結合云平臺的并行仿真、加速計算能力，實現預期功能安全分析、參數敏感性分析、失敗概率計算以及尋找失敗臨界面等功能，基于結果數據評估系統殘余風險，若存在不可接受風險，則形成優化迭代策略，并且通過驗證手段提前判斷優化策略是否起效，助力、加速自動駕駛系統的開發和驗證。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?