360全景環(huán)視系統(tǒng)恐怕是中國最受歡迎的ADAS功能，國產(chǎn)品牌中高端車一般標配360度全景環(huán)視系統(tǒng)，出貨量最大的莫過于傳祺GS8和吉利博越。傳祺GS8主力車型18.28萬豪華智聯(lián)版并非頂配車型，但標配360全景環(huán)視系統(tǒng)。GS8的車機由哈曼完成，360度全景環(huán)視系統(tǒng)由德爾福提供。吉利博越則在12.98萬的手動智慧版就標配360全景環(huán)視系統(tǒng)，13萬以上的吉利博越車型全部標配360全景環(huán)視系統(tǒng)，吉利博越的高配車機由博泰提供，360全景環(huán)視系統(tǒng)由縱目科技提供算法和方案，由重慶桑德科技提供PCB板和硬件制造，由德賽西威提供攝像頭。2016年吉利博越銷量109080，估計有30%配備了360全景環(huán)視系統(tǒng)，也就是大約3.8萬套。

360全景環(huán)視系統(tǒng)可以簡單分為與導航CPU共享運算資源型（吉利博越）和單獨CPU型（傳祺GS8）。國際上一般叫AVM（AroundView Monitor），最早的AVM由歌樂（日立汽車子公司）與日產(chǎn)聯(lián)合開發(fā)，在2003年推出。

在國際專利數(shù)據(jù)庫中查詢相關專利，關鍵詞如下

1990-2013年全景環(huán)視系統(tǒng)AVM的專利數(shù)

AVM專利數(shù)自2013年開始下降，這就意味著AVM已經(jīng)成熟，已經(jīng)不是研發(fā)重點了。

AVM專利公司分布

豐田旗下的電裝專利數(shù)量最多，其次是日產(chǎn)、本田、愛信精機、富士通天、住友電氣、日本電裝、阿爾派、日產(chǎn)、豐田、愛信AW、歌樂、松下、住友線束、博世、Matsushita Electric、Toyota Jidosha、阿爾派等。

1.LUT技術

對于共用導航CPU的360全景環(huán)視系統(tǒng)，一般采用以LUT為核心的技術方式。

典型360全景環(huán)視系統(tǒng)流程

脫機前置作業(yè)程序包含了相機校正、 扭曲校正、 估測暗角參數(shù)、 鳥瞰轉換與影像對位。 經(jīng)過脫機前置作業(yè)程序后會生成一張全周鳥瞰影像與各相機影像間的幾何關系對應表LUT (Look Up Table)， 之后因相機參數(shù)固定， 相機間幾何關系也不變， 可用查表方式連續(xù)生成全周影像。 在線實時作業(yè)程序包含影像點內(nèi)插、暗角效應補償、 亮度一致化與色彩混合處理， 最終生成環(huán)景鳥瞰圖像。LUT是最重要的，LUT的生成需要CMOS傳感器廠家和鏡頭廠家配合提供。

利用上面這兩個方程設計人員能夠將校正圖像上的每一像素點映射到輸入圖像的每一像素點。校正后的魚眼圖像在水平方向沒有全景失真。

拼接圖像時，需要對圖像進行配準，以確定重疊區(qū)。圖像必須來自兩個以上相同的鏡頭，其主軸都位于同一水平面。而且，鏡頭必須分開一點距離，彼此有些轉動。假設景象中的所有目標都足夠遠，這種情況可以建模為一個鏡頭沿垂直軸旋轉得到不同的圖像。在這些假設下，方程表示的校正功能將圖像變換為彼此水平平移。校正后，只需要指出圖像之間對準時的水平移位就能夠解決圖像配準問題。但是，由于鏡頭對準誤差，實際中，只有水平方向對準還不能完全配準圖像。因此，除了水平平移，還需要進行垂直平移才能完全對準。

確定了經(jīng)過校正的魚眼圖像的配準參數(shù)后，方程采用水平和垂直平移常數(shù)，適當?shù)钠揭?(xq,yq)，將輸出拼接圖像的每一像素映射到多幅輸入圖像的一幅中。很明顯，這種映射方法與圖像內(nèi)容無關，而取決于鏡頭的特性（包括 FOV 和輸入圖像分辨率）、顯示（包括分辨率），以及配準參數(shù)等。因此，可以通過在啟動時進行一次計算，結果存儲為查找表 (LUT)，實現(xiàn)映射。

還有一個失真校正LUT，有些小企業(yè)得不到鏡頭廠家的支持或者節(jié)約成本干脆省掉了這個環(huán)節(jié)。

很明顯這個LUT得由鏡頭廠家提供，所以鏡頭廠家的地位可是很高滴。從上面的流程中我們可以看出，這種360度全景環(huán)視系統(tǒng)技術含量并不高。

這種技術方案的缺點是算法簡單，所占運算資源很少，成本很低，缺點是圖像缺乏立體感，魯棒性差，畢竟是靜態(tài)標定的，再有是4個魚眼鏡頭拼接導致視距很短，完全依賴360全景系統(tǒng)仍然不算太安全。有些廠家會增加一級透視變換，就是增加立體感。

使用3D圖像引擎（SGX544）生成3D Mesh Table，GPU做Rendering。

2.Wrap Around View

富士通提出另一種做法，這就是富士通引以為傲的Wrap Around View，此技術于2009年推出。

富士通采用虛擬曲線半球面投影，而非平面投影，這種投影3D立體感強，視距擴展，失真小，畫面更加自然，成本也增加不少。從2009年推出的第一代MB86R01，到2013年推出MB86R24。歷經(jīng)數(shù)代，性能越來越強。MB86R24內(nèi)含兩個ARM Cortex-9內(nèi)核，采用55納米工藝，運算能力大約為4000DMIPS ，采用PowerVR SGX543 3D圖像引擎，富士通2D圖像引擎，支持6個全HD攝像頭輸入。攝像頭的FOV不必要求太高，120度也可，這樣就可以探測到比較遠的物體。 物體靠近偵測ApproachingObject Detection功能，一旦有一側的攝像頭偵測到有移動物體變自動切換到那個攝像頭覆蓋的畫面，這個原理很簡單，移動物體會讓碼率增加，簡單對比碼率即可得知。

富士通運用靈活的時間幀來采集兩個不同的圖形，能夠檢測大約40-60米遠的目標，傳統(tǒng)的圖形識別只能做到5-10米。 MB86R24典型應用是在英菲尼迪的高端車上。

上圖為MB86R24的內(nèi)部框架圖，當然這款芯片除了360全景也可以做Infotainment、儀表和AR HUD。

3.視覺里程計技術

英偉達則使用更高大上的技術，用視覺里程計來打造360度環(huán)視系統(tǒng)。英偉達認為傳統(tǒng)的環(huán)視系統(tǒng)都太LOW，特別動態(tài)情況下有拖影或者疊影。英偉達使用無人駕駛領域中的視覺里程計技術，使用視頻流6DOF來獲得高精度的校準參數(shù)，使視覺里程計達到實用地步，遠超傳統(tǒng)的方向盤轉角與車輛速度的2DOF校準。

這當然需要強大的GPU來支持，至少是Tk1的級別，這種技術再前進一步就是全自動泊車了。

360全景技術難度不高，關鍵在于怎么控制成本。360環(huán)視系統(tǒng)的成本控制點不在處理器而在連接器和連接線。如果采用數(shù)字視頻傳輸，那么一般需要采用LVDS接口，這就需要車規(guī)級的LVDS連接器和連接線，每條的價格在6-10美元之間，最頂級的LVDS連接器和連接線據(jù)說價格逼近1000元人民幣，幾乎和低端車機價格相同。為解決這個高成本問題，美信推出MAX9286，MAX9286配合MAX96709，能夠用普通同軸電纜代替LVDS，同時實現(xiàn)1.5Gbps的帶寬。再有就是采用以太網(wǎng)（EAVB）傳輸視頻，NXP的MPC5604E做MCU，博通的BroadRReach做物理層連接，可以將以太網(wǎng)輸入轉化為FlexCAN或LINFlex，這是寶馬奔馳喜歡用的總線。對高清的支持，EAVB顯然性能最佳。當然成本也不低。

低端廠家當然不會有這個麻煩，他們不用數(shù)字視頻傳輸，他們是模擬視頻接口。當然ADC不可或缺，ADI和Insteril（已被瑞薩收購）有不少低價ADC，如ADV7184，ISL79985，ISL79986，TW6865，TW9966。

360全景系統(tǒng)的標定也是很關鍵的一環(huán)，大家最常見的就是黑白棋盤式校準，高端車則采用框線式。實際還有很多種。

360環(huán)視系統(tǒng)發(fā)展空間巨大，目前都采用180度FOV的魚眼鏡頭，雖然經(jīng)過了失真矯正，但不可能達到傳統(tǒng)攝像頭的效果，圖像周邊仍然桶形失真明顯，3D感也很差。同時魚眼鏡頭的有效距離也太短了。未來可能用6到8個90度FOV攝像頭取代魚眼鏡頭，配合視覺里程計最終發(fā)展為全自動泊車。