日前，在由黑芝麻智能主辦的“2023智能汽車高峰論壇”上，黑芝麻智能深度學習研發高級總監王祚官發表了主題為“BEV感知，給自動駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發進展。

近日，由黑芝麻智能主辦的“2023智能汽車高峰論壇”匯聚了眾多行業專家和企業代表。在其中的軟件論壇上，來自不同領域的嘉賓共同探討新形勢下汽車軟件行業的未來。黑芝麻智能深度學習研發高級總監王祚官在論壇上發表了主題為“BEV感知，給自動駕駛開啟‘上帝視角’”的主旨演講，分享黑芝麻智能在BEV感知方面的研發進展。

感知質量更好的前融合方案

BEV是Bird‘s-Eye-View Perception的縮寫，即鳥瞰視角感知，簡單而言就是融合車載多視角攝像頭的輸入，然后變成鳥瞰圖的檢測輸出，可用于各種下游任務。

相校于傳統的感知算法，BEV感知有明顯優勢。如果把多視角的感知看作一個融合過程，傳統的感知算法可以看作是一個后融合方案，其典型做法是對每一路輸入的視頻做單獨檢測，然后通過一些方法把檢測結果融合起來。其缺點是會產生一些比較大的累計誤差。

BEV感知則屬于前融合感知，把圖像特征先融合起來，直接生成BEV的檢測結果，如此省去了很多中間步驟，生成的感知結果質量比后融合方案的更好。

王祚官表示，BEV感知能為自動駕駛感知任務提供有效的時空表征方法，將成為車載感知的主流發展方向。

黑芝麻智能開發多重亮點的BEV技術

王祚官介紹，黑芝麻智能的BEV框架主要分三部分：第一部分是特征提取，對每一路輸入的圖像，提取其圖像特征；第二部分是BEV的特征生成，包含空間的融合和時間的融合；第三部分是目標檢測。

整體而言，黑芝麻智能開發的BEV技術有諸多亮點：上下文感知增強的BEV投影，可自適應時空采樣，可學習車道結構的碼本，基于“BST渲染器”的實時矢量化地圖構建能力，結合“NeRF + LiDAR”的 Occupancy Grid Map（占位柵格地圖）功能 ，以及芯片本身的高效網絡架構與強大性能。

在將圖像投影到三維空間時，現有方法僅從一條光線中采樣上下文特征。黑芝麻智能采用了上下文感知的增強BEV，圖象包括非常豐富的場景信息，最終可以得到質量非常高的BEV。

空間的融合之后，緊接著就是時間的融合，典型做法是把當前均勻采樣的幀融合在一起。但這樣做有一個明顯問題，即車輛停止的時候，采樣會產生大量重復的幀，造成之前的路面信息丟失，導致算力浪費，而且感知范圍會變小。黑芝麻智能的做法是增加了空間上的抽樣，即根據車身信息，每隔一定的距離做抽樣，然后把空間抽樣和時間抽樣結合起來，作為最后的目標檢測。通過這種方式，車輛在緩慢行駛甚至停止的情況下，仍然能夠保證有較大的感知范圍。

車道是高度規則化的結構，黑芝麻智能設計了用低維編碼的方法來引入車道線的結構信息，學習并保存多種車道結構的碼本（Codebook），并在學習到的碼本指導下進行預測。

在車輛周圍實時生成地圖對自動駕駛非常關鍵。但是，地圖通常包含很多種類的元素，比如車道線、人行道、停車位等，這給網絡實時預測周圍地圖帶來了困難。黑芝麻智能采用矢量的方法作為統一的表達方式，開發了可微分的“BST-Renderer”，將各種地圖元素渲染成圖像，然后對渲染出的圖像進行訓練。用一致的矢量表示，的好處就是說，為后期的矢量地圖構建提供了便利。

在提到OCCUPANCY GRID時，王祚官表示，一個空間是否被占據，表示方法是把它離散化成等大小的立方體，用一個參數來表示這個立方體被占據的概率是多少。傳統的典型做法是使用LiDAR信號，但會出現信號缺失或被遮擋的問題。黑芝麻智能設計了“NeRF + LiDAR”的方案，與僅使用 LiDAR相比，可端到端訓練，充分結合圖像信息和LiDAR信息，對被遮擋區域依然可以進行場景流監督，可使用無LiDAR數據集進行模型微調。

此外，BEV模型里面使用了很多Transformer模型，鑒于Transformer注意力機制的計算成本較高，黑芝麻智能簡化了計算，使其適合在邊緣設備上運行。

自研高性能芯片為BEV模型落地提供支持

黑芝麻智能已將開發的BEV模型部署到旗下華山二號A1000芯片上。A1000芯片擁有58TOPS（INT8）的強大算力，有矩陣運行單元和非線性運算單元，再加上DSP，能夠滿足行業需求。與此同時，BEV模型還可部署在黑芝麻智能最新發布的武當系列C1200芯片上。該系列是業內首個智能汽車跨域計算芯片平臺。

作為中國本土智能汽車芯片的供應商之一，黑芝麻智能擁有全棧感知算法量產化能力，能夠提供客戶算法定制服務，支持第三方算法移植，多種算法交付方式等靈活的商業模式。這些感知算法能夠加速并且助力一些中短期內智能領航和泊車應用產品快速落地，從而加速整個芯片的量產及應用。