特斯拉 NOA 導(dǎo)航輔助駕駛

大家想象中的自動(dòng)駕駛，其實(shí)沒(méi)有那么多定語(yǔ)，應(yīng)該是從任意地點(diǎn)到任意地點(diǎn)都能自動(dòng)駕駛。

但是自動(dòng)駕駛技術(shù)的開(kāi)發(fā)難度實(shí)在太大，各種限制因素也多，所以現(xiàn)在在乘用車自動(dòng)駕駛領(lǐng)域，業(yè)界劃分出了不同的 ODD（可運(yùn)行區(qū)域），包括泊車域、行車域，行車域里面又有城市域、高速域，像蔚來(lái)還要把換電場(chǎng)景自動(dòng)駕駛這個(gè)域加進(jìn)去。

一段從車輛啟動(dòng)到車輛停好的旅程，被切割成了細(xì)分的很多段，業(yè)內(nèi)企業(yè)們正分段攻破。

正是因?yàn)檫@些域的存在，衍生出了很多的自動(dòng)駕駛功能（現(xiàn)在只能稱為「輔助駕駛功能」），比如泊車域的自動(dòng)泊車、遙控泊車、記憶泊車；而在行車域，又有基礎(chǔ)輔助駕駛功能（ACC、LCC、ALC），還有更高級(jí)一些的導(dǎo)航輔助駕駛，可覆蓋高速域以及城市域，再往后那就是真正的點(diǎn)到點(diǎn)自動(dòng)駕駛。

不過(guò)目前由于自動(dòng)駕感知技術(shù)還未達(dá)到極致成熟，從高速到城市，感知難度指數(shù)級(jí)提升，同時(shí)有其他限制因素，當(dāng)下最主流的智駕功能——導(dǎo)航輔助駕駛系統(tǒng)開(kāi)城的速度依然很慢。

01

導(dǎo)航輔助加速內(nèi)卷

BEV感知技術(shù)成主流

從目前業(yè)內(nèi)自動(dòng)駕駛的產(chǎn)品形態(tài)看，導(dǎo)航輔助駕駛功能越來(lái)越火爆，這個(gè)由特斯拉帶火的層次稍高一些的輔助駕駛功能，正在被國(guó)內(nèi)的新老車企爭(zhēng)相推動(dòng)上車，國(guó)內(nèi)的供應(yīng)商們也都往這個(gè)方向上卷，因?yàn)檫@個(gè)方向既受到法規(guī)允許，也能吸引到真實(shí)消費(fèi)者使用并為其買單。

未來(lái) 1-2 年，國(guó)內(nèi)的導(dǎo)航輔助駕駛功能 NOA、NGP、NOP、NZP、ANP、NOH、NCA、NOM 等將迎來(lái)大爆發(fā)。當(dāng)然，速度有快有慢，有的還在打磨高速導(dǎo)航輔助駕駛，有的已經(jīng)把車開(kāi)進(jìn)了城市，開(kāi)啟了更難的挑戰(zhàn)。

就在本月，此前主打 Robotaxi 開(kāi)發(fā)和運(yùn)營(yíng)的小馬智行正式宣布開(kāi)辟乘用車智能駕駛業(yè)務(wù)產(chǎn)品線，并已成立獨(dú)立事業(yè)部。

從其公布的智能駕駛量產(chǎn)方案中，要打造高速和城市導(dǎo)航輔助駕駛的規(guī)劃非常明確。

小馬智行公布的量產(chǎn)自動(dòng)駕駛方案

這也足夠說(shuō)明導(dǎo)航輔助駕駛系統(tǒng)已經(jīng)成為車企和供應(yīng)商的兵家必爭(zhēng)之地。

在導(dǎo)航輔助駕駛功能火爆和上量的背后，是自動(dòng)駕駛核心技術(shù)在驅(qū)動(dòng)。

感知技術(shù)、決策/規(guī)劃/控制技術(shù)、高精地圖技術(shù)等等，都在深刻影響著導(dǎo)航輔助駕駛產(chǎn)品的能力和體驗(yàn)。其中，感知技術(shù)以及定位技術(shù)是導(dǎo)航輔助駕駛功能實(shí)現(xiàn)的前提，沒(méi)有這二者，后面的規(guī)劃控制也就無(wú)從談起。

感知能幫助系統(tǒng)「看」到道路上的參與者和道路要素，定位能告訴系統(tǒng)「我在哪里」，所以你可以看到現(xiàn)在各家的導(dǎo)航輔助駕駛一方面要在傳感器種類和數(shù)量上卷；另一方面也很依賴于高精地圖數(shù)據(jù)。

其中的高精地圖覆蓋范圍以及新鮮度很大程度上限定了導(dǎo)航輔助駕駛的運(yùn)行連續(xù)性以及可用范圍。

可以預(yù)見(jiàn)的是，無(wú)論是高速導(dǎo)航輔助駕駛還是城市導(dǎo)航輔助駕駛，未來(lái)很長(zhǎng)一段時(shí)間還是得依賴高精地圖這一重要「?jìng)鞲衅鳌埂Ｒ驗(yàn)閱螐捏w驗(yàn)上來(lái)看，有高精地圖的功能和沒(méi)高精地圖的功能確實(shí)有著非常大的差距。

但是依賴高精地圖也不意味著行業(yè)放棄了對(duì)車端感知能力和技術(shù)的更高追求。其實(shí)是要尋找一種平衡：在有高精地圖的地方增強(qiáng)車輛智駕系統(tǒng)體驗(yàn)；在沒(méi)有高精地圖的區(qū)域，系統(tǒng)能通過(guò)車上感知模塊來(lái)指導(dǎo)車輛完成自動(dòng)駕駛，比如像北京五環(huán)內(nèi)這樣的區(qū)域。

所以，行業(yè)也在推動(dòng)自動(dòng)駕駛感知技術(shù)的突破。感知技術(shù)接下來(lái)的主流會(huì)是什么？很多車企和供應(yīng)商的答案是 —— BEV 感知。

02

BEV是什么？為什么被需要？

BEV 全稱是 Bird's Eye View，也就是鳥(niǎo)瞰圖，是一種用于描述感知到的現(xiàn)實(shí)世界的視角或坐標(biāo)系（3D 空間），就像是上帝視角。另外，BEV 也是計(jì)算機(jī)視覺(jué)領(lǐng)域內(nèi)的一種端到端的、由神經(jīng)網(wǎng)絡(luò)將圖像信息從圖像空間轉(zhuǎn)換到 BEV 空間的技術(shù)。

大家知道在自動(dòng)駕駛車上，有很多的傳感器，如攝像頭、毫米波雷達(dá)、激光雷達(dá)，自動(dòng)駕駛系統(tǒng)里傳統(tǒng)的圖像空間感知方法是將汽車上的雷達(dá)、攝像頭等不同傳感器采集來(lái)的數(shù)據(jù)分別進(jìn)行分析運(yùn)算，然后再把各路分析結(jié)果融合到一個(gè)統(tǒng)一的空間坐標(biāo)系，用于規(guī)劃車輛的行駛軌跡。

但這個(gè)過(guò)程中每個(gè)獨(dú)立傳感器收集到的數(shù)據(jù)和人眼類似，受特定視角的局限，經(jīng)過(guò)各自的分析運(yùn)算后，在后處理融合階段會(huì)導(dǎo)致誤差疊加，很難精準(zhǔn)地拼湊出道路實(shí)際全貌，給車輛的決策規(guī)劃帶來(lái)困難。

BEV 感知就好比是一個(gè)從高處統(tǒng)觀全局的「上帝視角」，車身多個(gè)傳感器采集的數(shù)據(jù)，會(huì)輸入到一個(gè)統(tǒng)一模型進(jìn)行整體推理，這樣生成的「鳥(niǎo)瞰圖」，有效地避免了誤差疊加；BEV 方案還支持「時(shí)序融合」，也就是不僅收集一個(gè)時(shí)刻的數(shù)據(jù)，分析一個(gè)時(shí)刻的數(shù)據(jù)，而是支持把過(guò)去一個(gè)時(shí)間片段中的數(shù)據(jù)都融合進(jìn)模型做環(huán)境感知建模，這樣可以讓系統(tǒng)感知到的結(jié)果更穩(wěn)定，使得車輛對(duì)于道路情況的判斷更加準(zhǔn)確，讓自動(dòng)駕駛更安全。

BEV 感知技術(shù)其實(shí)是特斯拉帶火的，作為業(yè)內(nèi)純視覺(jué)感知技術(shù)的鼻祖，很早就在這方面下功夫。

特斯拉車身上有多個(gè)攝像頭和毫米波雷達(dá)，在做感知的時(shí)候，需要把不同傳感器的感知數(shù)據(jù)收集并有效融合起來(lái)，輸出感知結(jié)果。

特斯拉車上不同位置的攝像頭的參數(shù)并不一樣（相機(jī)的內(nèi)外參不同），包括焦距長(zhǎng)度、視野寬度、深度感受野等等，這就導(dǎo)致同一個(gè)物體在不同的相機(jī)里是不一樣的。

特斯拉在引入 BEV 之前采用的方式是：在每個(gè)相機(jī)上單獨(dú)進(jìn)行感知，然后再將不同相機(jī)感知到的結(jié)果進(jìn)行融合。

但這種方式會(huì)存在幾個(gè)問(wèn)題：

比如融合困難，將不同相機(jī)的感知結(jié)果進(jìn)行融合需要大量的超參，寫(xiě)起來(lái)非常復(fù)雜，并且由于深度估計(jì)的誤差，最終的輸出結(jié)果可能會(huì)相互沖突，導(dǎo)致融合結(jié)果不一致。

另外就是圖像空間的輸出對(duì)于后續(xù)任務(wù)來(lái)說(shuō)很不友好，比如在一些預(yù)測(cè)任務(wù)上，如果不同相機(jī)單獨(dú)感知，則很難預(yù)測(cè)被大面積遮擋的物體；單個(gè)攝像機(jī)也無(wú)法看到大物體的全貌，會(huì)導(dǎo)致難以正確預(yù)測(cè)。

為了解決這些問(wèn)題，特斯拉采取的方法就是用神經(jīng)網(wǎng)絡(luò)將圖像空間映射到 BEV 空間。

其做法是把多個(gè)視角的圖像統(tǒng)一通過(guò)一個(gè)公共的特征提取器投影到一個(gè)統(tǒng)一的 BEV 空間里面。

在這個(gè)空間里面，通過(guò)深度學(xué)習(xí)去完成一個(gè)特征的融合，然后再通過(guò)一個(gè) 3D 的解碼器，直接端到端輸出最后的一個(gè) 3D 檢測(cè)和道路結(jié)構(gòu)信息。下游的像規(guī)劃與控制模塊直接可以在 BEV 的空間上去進(jìn)行。

特斯拉 BEV 坐標(biāo)轉(zhuǎn)換

從 2D 圖像空間到 3D BEV 空間如何轉(zhuǎn)換？

這里不得不提到 Transformer。

大概從 2017 年開(kāi)始，Transformer 作為一種新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)開(kāi)始引起研究人員的廣泛關(guān)注。

Transformer 與處理序列數(shù)據(jù)常用的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）不同，Transformer 中的注意力機(jī)制并不會(huì)按照順序來(lái)處理數(shù)據(jù)，也就是說(shuō)，每個(gè)元素和序列中的所有元素都會(huì)產(chǎn)生聯(lián)系，這樣就保證了不管在時(shí)序上相距多遠(yuǎn)，元素之間的相關(guān)性都可以被很好地保留。通俗點(diǎn)說(shuō)就是會(huì)「聯(lián)系上下文」，而且還會(huì)抓重點(diǎn)。

Transformer 首先被應(yīng)用在自然語(yǔ)言處理領(lǐng)域（NLP），用來(lái)處理序列文本數(shù)據(jù)。在自然語(yǔ)言處理領(lǐng)域取得廣泛應(yīng)用后，Transformer 也被成功移植到了很多視覺(jué)任務(wù)上，比如「圖像分類，物體檢測(cè)」等，并同樣取得了不錯(cuò)的效果。而且，Transformer 在海量數(shù)據(jù)上可以獲得更大的性能提升，這不正好就是自動(dòng)駕駛領(lǐng)域所需要的嗎？

正是因?yàn)榭吹搅诉@一點(diǎn)，面向量產(chǎn)的自動(dòng)駕駛公司在擁有數(shù)據(jù)收集優(yōu)勢(shì)的情況下，自然就會(huì)傾向于選擇 Transformer 作為其感知算法的主體。

2021 年夏天，特斯拉的自動(dòng)駕駛技術(shù)負(fù)責(zé)人 Andrej Karpathy 在 AI Day 上，公開(kāi)了 FSD 自動(dòng)駕駛系統(tǒng)中采用的算法，而 Transformer 則是其中最核心的模塊之一。

BEV 感知技術(shù)要廣泛應(yīng)用，離不開(kāi) Transformer 這樣的模塊進(jìn)行空間坐標(biāo)系的轉(zhuǎn)換，比如將 2D 圖像轉(zhuǎn)換到 3D 空間里去。

其架構(gòu)簡(jiǎn)單說(shuō)就是：先通過(guò)一個(gè)共享的主干網(wǎng)絡(luò)來(lái)提取每個(gè)相機(jī)的特征，然后再通過(guò) Transformer 等將多攝像頭數(shù)據(jù)，完成從圖像空間到 BEV 空間（3D）的轉(zhuǎn)換。

在 BEV 空間內(nèi)，由于坐標(biāo)系相同，可以很方便地將圖像數(shù)據(jù)和激光雷達(dá)、毫米波雷達(dá)數(shù)據(jù)進(jìn)行融合，還可以進(jìn)行時(shí)序融合形成 4D 空間，這也是當(dāng)下 BEV 技術(shù)的大趨勢(shì)。當(dāng)然，特斯拉目前不需要融合激光雷達(dá)數(shù)據(jù)。

BEV 感知技術(shù)很好地解決了傳感器融合的很多阻礙性難題，而且也給了后續(xù)異構(gòu)傳感器大量上車之后的融合提供了借鑒。

國(guó)內(nèi)的自動(dòng)駕駛團(tuán)隊(duì)百度 Apollo 也經(jīng)歷了這個(gè)過(guò)程，他們?cè)?2019 年推出了 Apollo Lite 方案，其實(shí)也是一個(gè)多攝像頭融合的方案，包括單目前視+多個(gè)環(huán)視。

他們當(dāng)時(shí)也是采用后融合方式來(lái)做。

在這個(gè)感知方案的整體框架方面，每一個(gè)不同朝向的相機(jī)，會(huì)先經(jīng)過(guò)一個(gè)神經(jīng)網(wǎng)絡(luò)去推理出相機(jī)下面的障礙物位置、大小、朝向等信息；單相機(jī)里面的目標(biāo)跟蹤，以及多相機(jī)融合等都是一些基于規(guī)則的方案去做的。

百度團(tuán)隊(duì)在單相機(jī)里面把深度學(xué)習(xí)做到一個(gè)比較高的程度了，整個(gè)單相機(jī)里面的 3D 感知信息都可以通過(guò)模型來(lái)輸出，然后基于 3D 標(biāo)注結(jié)果，直接端到端產(chǎn)出單相機(jī)的結(jié)果。

在過(guò)去的幾年里，單相機(jī)的 3D 感知能力也有一個(gè)比較大的提升，但是最后也遇到了一些瓶頸，比如有一些截?cái)嗟奈矬w，在一個(gè)相機(jī)里面是看不全的，就沒(méi)辦法很好地去對(duì)它做感知。

另外，一些跟蹤和平滑策略在圖像視角下，和最后規(guī)劃控制模塊所要的輸出空間其實(shí)是不一致的，這樣會(huì)總體上限制自動(dòng)駕駛的能力。

所以在過(guò)去一年里，百度 Apollo 的團(tuán)隊(duì)也將 BEV 感知應(yīng)用了進(jìn)來(lái)，整體上使用一種持續(xù)并列的框架去端到端地做障礙物檢測(cè)、軌跡預(yù)測(cè)以及道路結(jié)構(gòu)感知，整體上會(huì)有一個(gè)時(shí)間序列，多幅圖像輸入進(jìn)來(lái)。然后通過(guò)圖像的特征提取器之后，得到圖像視角的特征，然后再通過(guò) Transformer 把那個(gè)特征投影到一個(gè)統(tǒng)一的 BEV 空間，再經(jīng)過(guò)解碼，最終得到一個(gè)端到端的一個(gè) 3D 感知效果。

特別是在道路結(jié)構(gòu)這一部分，百度因?yàn)橛凶约旱母呔貓D數(shù)據(jù)，把這些數(shù)據(jù)和車輛的高精定位信息結(jié)合起來(lái)，是可以直接轉(zhuǎn)換成 BEV 道路結(jié)構(gòu)的訓(xùn)練數(shù)據(jù)，用于算法的訓(xùn)練。

也正是在 BEV 感知技術(shù)的加持下，百度的導(dǎo)航輔助駕駛 ANP 3.0 系統(tǒng)正在加速落地，這套系統(tǒng)能覆蓋高速場(chǎng)景、城市場(chǎng)景，甚至能自動(dòng)通過(guò)收費(fèi)站。作為已經(jīng)確定應(yīng)用這套能力的集度 ROBO-01 車型，最近也已經(jīng)去到交通流復(fù)雜的廣州進(jìn)行測(cè)試，去征服更多的感知難題。

除了像特斯拉和 Apollo Lite 這種純視覺(jué)自動(dòng)駕駛方案，國(guó)內(nèi)現(xiàn)在掀起的是多傳感器融合方案，激光雷達(dá)（單顆或多顆）、攝像頭（像素越來(lái)越高）、毫米波雷達(dá)、超聲波傳感器等等。

這么多的異構(gòu)傳感器放在一起，感知數(shù)據(jù)如何融合？視覺(jué)數(shù)據(jù)和激光雷達(dá)點(diǎn)云數(shù)據(jù)如何融合？它們一個(gè)是 2D 圖像空間，一個(gè)是 3D 空間，如何比較穩(wěn)定的融合，而且效果還要好？

答案依然是 BEV 感知。

如前文所述，可以先通過(guò) Transformer 把視覺(jué)的 2D 圖像轉(zhuǎn)換到 3D 坐標(biāo)下，和其他的傳感器數(shù)據(jù)如激光雷達(dá)點(diǎn)云在空間坐標(biāo)上保持一致，在相同坐標(biāo)下融合起來(lái)就更加游刃有余。

如果從國(guó)內(nèi)的這些車企和供應(yīng)商的選擇來(lái)看，BEV 感知已經(jīng)是主流了。

而 BEV 感知技術(shù)成為應(yīng)用主流，也意味著其將推動(dòng)導(dǎo)航輔助駕駛這類功能更快量產(chǎn)、更好地落地。

一方面，那些應(yīng)用 BEV 感知技術(shù)的造車新勢(shì)力們，能更加好的提升系統(tǒng)的感知能力，讓功能的體驗(yàn)更好。

另一方面，那些應(yīng)用 BEV 感知技術(shù)的智駕供應(yīng)商，能夠更快去適配不同車企、不同車型的五花八門的需求，比如他們對(duì)車上智駕傳感器的不同配置的需求，可以靈活應(yīng)變，在感知效果上也不會(huì)因?yàn)閭鞲衅髋渲米兓兊貌环€(wěn)定、不可控。

03

哪些公司在用BEV？

雖然 BEV 感知技術(shù)不能解決自動(dòng)駕駛感知領(lǐng)域的一切疑難雜癥，但它提供了一個(gè)相比圖像更加貼近物理世界的空間，可以給后續(xù)的融合、規(guī)劃提供更多的可能性。

現(xiàn)在很多自研智駕系統(tǒng)的車企以及智駕供應(yīng)商都在使用 BEV 技術(shù)。

比如車企里面的蔚來(lái)、理想、小鵬；供應(yīng)商里面的百度 Apollo、毫末智行、紐勱科技、地平線；Robotaxi 公司轉(zhuǎn)型做智駕系統(tǒng)供應(yīng)商的輕舟智航、小馬智行等等。

每一家在具體使用這項(xiàng)技術(shù)的時(shí)候肯定會(huì)有不同，但是大致的技術(shù)框架應(yīng)該如下：

先將攝像頭數(shù)據(jù)輸入到共享的骨干網(wǎng)絡(luò)（Backbone），提取每個(gè)攝像頭的數(shù)據(jù)特征（Feature）；

把所有的攝像頭數(shù)據(jù)進(jìn)行融合，并轉(zhuǎn)換到 BEV 空間；

在 BEV 空間內(nèi)，進(jìn)行異構(gòu)傳感器數(shù)據(jù)融合，將視覺(jué)數(shù)據(jù)和激光雷達(dá)點(diǎn)云進(jìn)行融合；

進(jìn)行時(shí)序融合，形成 4D 時(shí)空維度的感知信息（3D+速度）；

進(jìn)行多任務(wù)輸出，可以是靜態(tài)語(yǔ)義地圖、動(dòng)態(tài)檢測(cè)和運(yùn)動(dòng)預(yù)測(cè)等，給到下游規(guī)控模塊使用。

就拿剛剛公布要進(jìn)行智駕系統(tǒng)量產(chǎn)上車的小馬智行來(lái)講，其已明確自研了 BEV 感知算法。

可通過(guò)大模型識(shí)別各類型障礙物、車道線及可通行區(qū)域等信息，最大限度降低算力需求，同時(shí)在無(wú)高精地圖的情況下，僅用導(dǎo)航地圖也可實(shí)現(xiàn)高速與城市導(dǎo)航輔助駕駛功能。

特別是在高速場(chǎng)景中，小馬智行壓榨傳感器的性能，用魚(yú)眼相機(jī)參與行車 BEV 感知模型，減少對(duì)傳感器數(shù)量的依賴—— 使用 6 個(gè)攝像頭（4 個(gè)魚(yú)眼相機(jī)及前后向各 1 個(gè)長(zhǎng)距相機(jī)）與 1 個(gè)前向毫米波雷達(dá)就可以實(shí)現(xiàn)高速導(dǎo)航輔助駕駛這樣的功能。

成功推出高速及城市 NOH 系統(tǒng)的毫末智行在感知領(lǐng)域同樣采用了 BEV 融合感知技術(shù)，毫末的融合感知其實(shí)包含三個(gè)不同的維度：空間、時(shí)間和傳感器。

空間融合主要是將來(lái)自多個(gè)相機(jī)的圖像轉(zhuǎn)換到統(tǒng)一的 BEV 坐標(biāo)，再進(jìn)行特征層融合；另外，單幀的信息會(huì)有很大的隨機(jī)性，因此，時(shí)序信息對(duì)于自動(dòng)駕駛環(huán)境感知來(lái)說(shuō)是非常重要的，毫末的時(shí)序融合也是采用了車輛自身的運(yùn)動(dòng)信息來(lái)統(tǒng)一多幀數(shù)據(jù)的空間坐標(biāo)系，從而在一個(gè)統(tǒng)一的空間坐標(biāo)系下融合來(lái)自不同時(shí)間的數(shù)據(jù)。

輕舟智航去年發(fā)布的 OmniNet 感知融合大模型就是將視覺(jué)、毫米波雷達(dá)、激光雷達(dá)等數(shù)據(jù)通過(guò)前融合和 BEV 空間特征融合，讓本來(lái)獨(dú)立的各個(gè)計(jì)算任務(wù)通過(guò)共享主干網(wǎng)絡(luò)（Backbone）和記憶網(wǎng)絡(luò)（Memory Network）進(jìn)行高效多任務(wù)統(tǒng)一計(jì)算，最終同時(shí)在圖像空間和 BEV 空間中輸出不同感知任務(wù)的結(jié)果，為下游的預(yù)測(cè)和規(guī)劃控制模塊提供更豐富的輸出。

雖然地平線是一家芯片企業(yè)，但是其打造的 SuperDrive 全場(chǎng)景智能駕駛方案里，其實(shí)也應(yīng)用了感知融合 BEV 技術(shù)，這套方案可支持高速、城區(qū)、泊車場(chǎng)景自動(dòng)駕駛，目前正給吉利方面供貨。

智駕供應(yīng)商紐勱科技的感知團(tuán)隊(duì)也基于 BEV 提出了 BEVSegFormer，一種基于 Transformer 的 BEV 語(yǔ)義分割方法，可面向任意配置的相機(jī)進(jìn)行 BEV 語(yǔ)義分割。

具體來(lái)說(shuō)，BEVSegFormer 首先使用了共享的主干網(wǎng)絡(luò)，對(duì)來(lái)自任意相機(jī)的圖像特征進(jìn)行編碼，然后通過(guò)基于可變形 Transformer 的編碼器對(duì)這些特征進(jìn)行增強(qiáng)。BEVSegFormer 還引入了一個(gè) BEV Transformer 解碼器模塊，對(duì) BEV 語(yǔ)義分割的結(jié)果進(jìn)行解析，以及一種高效的多相機(jī)可變形注意單元，完成 BEV 到圖像的視圖變換。最后，根據(jù) BEV 中的網(wǎng)格布局對(duì)查詢進(jìn)行重塑，并進(jìn)行上采樣，以有監(jiān)督的方式生成語(yǔ)義分割結(jié)果。

在車企方面，理想汽車的 L9 車型所搭載的 AD Max 系統(tǒng)也應(yīng)用了融合感知 BEV 技術(shù)，它利用所謂「純視覺(jué)」進(jìn)行運(yùn)動(dòng)感知預(yù)測(cè)，同時(shí)多傳感融合和高精地圖的信息輸入作為輔助。

另外，蔚來(lái)自動(dòng)駕駛 NAD 系統(tǒng)，在 2023 年的上半年，也會(huì)進(jìn)行底層感知架構(gòu)的切換，轉(zhuǎn)向 BEV 模型，向特斯拉看齊。

當(dāng)然，以上并未完全列出所有采用 BEV 技術(shù)的行業(yè)玩家。

BEV 技術(shù)成為了廠商們選擇的主流感知融合技術(shù)，該如何去定位這一技術(shù)？MAXIEYE CEO 周圣硯是這么看的：BEV 是深度學(xué)習(xí)之后的又一個(gè)新臺(tái)階，解決了過(guò)去多傳感器的變化和異構(gòu)帶來(lái)的各種各樣的融合感知算法的開(kāi)發(fā)問(wèn)題。

04

BEV還有什么新的玩法嗎？

當(dāng) BEV 感知技術(shù)成為主流，而且被多數(shù)廠商采用的時(shí)候，有些企業(yè)就開(kāi)始對(duì)其進(jìn)行改造了。

在今年 Create AI 開(kāi)發(fā)者大會(huì)上，百度就在 BEV 感知基礎(chǔ)上，提出了一個(gè)叫做「車路一體 BEV」的感知方案，取名叫 UniBEV，有點(diǎn)像「聯(lián)合 BEV」。

簡(jiǎn)單點(diǎn)理解就是，UniBEV 不但會(huì)將車端的感知數(shù)據(jù)拿過(guò)來(lái)做融合，也會(huì)將路端的感知數(shù)據(jù)也放進(jìn)來(lái)，放到同一個(gè)坐標(biāo)系下。BEV 本來(lái)就是個(gè)上帝視角了，這里再加上路端的超視距感知數(shù)據(jù)，那簡(jiǎn)直是開(kāi)掛一般的存在。但什么時(shí)候能在車端量產(chǎn)應(yīng)用現(xiàn)在還不太清楚。

具體來(lái)看看 UniBEV 的框架。

框架中的虛線框里有一個(gè)自研的內(nèi)外參解耦算法，這里的內(nèi)外參指的是傳感器的內(nèi)外參數(shù)，比如相機(jī)內(nèi)參數(shù)，指的是與相機(jī)自身特性相關(guān)的參數(shù)，比如焦距、像素大小等；而相機(jī)外參數(shù)則是相機(jī)在真實(shí)世界坐標(biāo)系中的參數(shù)，比如相機(jī)的安裝位置、旋轉(zhuǎn)方向等。

那為何要把內(nèi)外參解耦呢？百度說(shuō)他們作為智駕方案商，需要把方案供應(yīng)給不同的車廠，不同車廠車型會(huì)有不一樣的傳感器配置，比如供給集度的和供給比亞迪的傳感器方案就會(huì)不一樣。

有了這個(gè)解耦算法，可以把不同相機(jī)解耦開(kāi)，讓每個(gè)相機(jī)獨(dú)立，這樣不管傳感器的相對(duì)位置如何變，研發(fā)團(tuán)隊(duì)都可以將其投影到一個(gè)統(tǒng)一的 BEV 空間下。

框架中另一部分是車端和路側(cè)的點(diǎn)云，而且路側(cè)也會(huì)裝一些攝像頭，這些數(shù)據(jù)的特征到最后都會(huì)投影到一個(gè)統(tǒng)一的 BEV 空間下，便能把可能的信息都融合起來(lái)。

最終，在 UniBEV 加持下，百度的智駕系統(tǒng)在車端、路側(cè)的動(dòng)靜態(tài)感知任務(wù)上都有不錯(cuò)的表現(xiàn)。

當(dāng)然，也不是誰(shuí)家都能搞這樣的車路一體 BEV 感知的，因?yàn)檫@也需要有大量的路段感知設(shè)備傳回的數(shù)據(jù)，這是需要路側(cè)基建的。目前國(guó)內(nèi)，百度是為數(shù)不多有車路協(xié)同路端基建業(yè)務(wù)的智駕供應(yīng)商，這一點(diǎn)也強(qiáng)化了 UniBEV 的獨(dú)特性。

當(dāng)然，我們也期待其他廠商，基于 BEV 感知技術(shù)再研究出更加突破性的技術(shù)，助力自動(dòng)駕駛技術(shù)在感知領(lǐng)域的大躍進(jìn)。