詳解智能座艙內部的各種攝像頭

一、概述

相比起用于ADAS感知系統的攝像頭，用于智能座艙內部的攝像頭，其功能特性和性能要求相對簡單。例如，OMS乘客監控攝像頭，一般達到5MP即可有良好的效果。同時，OMS也可應用于車內會議系統，還應用于車內兒童檢測。DMS駕駛員監測系統，SVC 360環視攝像頭，DVR行車記錄儀，均為自動駕駛域ADC與智能座艙域CDC共用的攝像頭。下文將簡要介紹這些攝像頭。

對于車載攝像頭來說，它的特點在于攝像頭的安裝位置，和ISP處理芯片之間的距離。在2MP以下的攝像頭，一般會直接輸出YUV格式的圖像數據，無需額外的ISP進行圖像處理。而2MP以上，則攝像頭會輸出raw原始數據，需要有獨立的ISP進行攝像頭圖像格式處理。由于攝像頭使用數目很多，如果每個攝像頭都安排一個ISP，那么成本將非常巨大。因此需要將ISP安排在CDC座艙控制器內部，而通過高速傳輸線纜將攝像頭的raw數據傳送到集中式的ISP來進行處理。此時就需要使用高速視頻傳輸總線。

如同高速音視頻傳輸接口章節所描述的一樣，此時一般使用GMSL或者FPDlink，實現遠端Camera的raw數據傳輸到CDC中來。未來還可能采用的技術有Mipi-A phy 和ASA。此時Serdes芯片一般成對設置，在攝像頭端集成有serializer chip；在CDC端則設計有desilizer chip；它們之間的距離可以長達10米，最長不超過15米。

作為Camera傳輸的橋接芯片和傳輸數據線，可以參考如下圖片了解：

二、 OMS

OMS(Occupant Monitor System) 乘客及后座檢測系統的簡稱。在法規上，已經有不少地區和國家在立法要求進行車內兒童檢測。歐洲NCAP計劃從2023年1月起增加對車內兒童存在檢測的評分，各項規定非常細致。美國正在立法要求所有新車預裝兒童存在檢測功能，預計在2025年全面實施。據說國內相關規范也在評估制訂中。

OMS攝像頭可以在一定程度上滿足車內兒童存在檢測的要求。為了提高檢測的準確性，甚至還要求增加生命體征檢測雷達(UWB或者毫米波雷達)。從目前的實踐來看，一般在前排后視鏡位置布置一顆5MP，甚至8MP的OMS主攝像頭；在第二排第三排座位上方增加2MP的后排OMS。通過人臉識別，動作捕獲，活體檢測等AI 算法的應用，OMS可以提升智能座艙車內的感知。

OMS還可以為如下應用功能提供支持：車內視頻會議系統；安全支付系統；人工智能助手融合感知系統等。
為了保證在座艙環境內任何光照強度下都能正常使用，OMS一般要求支持RGB-IR，可見光和紅外光雙波段工作模式，同時需要布置紅外補光燈。在夜間可以采用IR紅外光進行檢測；在白天采用RGB可見光進行工作。

2.1 TOF

TOF是Time of flight的簡寫，直譯為飛行時間的意思。所謂飛行時間法3D成像，是通過給目標連續發送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。這種技術跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬于非嵌入式三維探測、適用領域非常類似的雙目測量系統相比，TOF相機具有根本不同的3D成像機理。雙目立體測量通過左右立體像對匹配后，再經過三角測量法來進行立體探測，而TOF相機是通過入、反射光探測來獲取的目標距離獲取。

由于TOF采用多點發射和測量的方法來計算并得出深度信息，因此它的特點是分辨率低，功耗高。受激光發射點的限制，其分辨率一般不會超過640*480，功耗卻是結構光的十倍以上。

2.2 雙目結構光+RGB

雙目結構光采用的是雙目立體視覺的技術，它模仿人眼的左右視差，用2個紅外攝像頭從左右兩個方向獲取被測物體的兩幅圖像，然后計算圖像對應點之間的偏差，采用三角測量的方式計算得出視差圖，再轉換為3D深度信息。在這里的結構光，指的是紅外投射器會投出一個簡單的紅外光點陣，用來增強物體表面的紋理，然后再由IR攝像頭拍攝物體圖像，利用算法進行后期計算處理。

雙目立體視覺系統的四個基本步驟：

1 相機標定：主要包含兩部分內容: 單相機的內參標定和雙目相機的外參標定，前者可以獲得每個相機的焦距、光心、畸變系數等參數，后者可以獲得雙目相機之間的相機坐標系的旋轉、平移關系。

2 立體校正：該過程是根據相機的標定結果，對兩個相機采集到的原始圖像進行校正，校正后的兩張圖像位于同一平面且互相平行，即圖像的每行像素之間共線。

3 立體匹配：該過程是根據立體校正后的圖像，進行像素點的匹配，匹配成功的點表示真實世界中的某點在這兩個圖像中的不同位置。

4 深度計算：對立體匹配后得到的2幅圖，利用三角測量法逐個計算每一個像素點的視差，得到視差圖后，再轉換成為深度圖。

雙目的優點是硬件資源需求低，只要2個普通的IR相機，搭配一顆帶DSP的SOC芯片即可計算獲取深度圖。但它的缺點是必須配置雙目，并要求具有一定的基線長度，因此它的安裝環境受限。

2.3 單目結構光

結構光，英文叫做 Structured light，基本原理是通過近紅外激光器，將具有一定結構特征的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行采集。這種具備一定結構的光線(激光散斑)，會因被攝物體的不同深度區域，而采集不同的圖像相位信息，然后通過運算單元將這種結構的變化換算成深度信息，以此來獲得三維結構。簡單來說就是，通過光學手段獲取被拍攝物體的三維結構，再將獲取到的信息進行更深入的應用。通常采用特定波長的不可見的紅外激光作為光源，它發射出來的光經過一定的編碼投影在物體上，通過一定算法來計算返回的編碼圖案的畸變來得到物體的位置和深度信息。

相對于TOF，結構光的功耗較低，因為它只需要投射一小塊區域就可以滿足要求。它的分辨率和精度都高于TOF，且成本也比TOF低。相比雙目結構光，單目結構光的基線可以做得較小，方便布置在車內環境中。并且它在低光照條件下仍然可以使用，更適合車內環境。

2.4 OMS視覺方案

在智能座艙內部的感知系統中，OMS發揮出巨大的作用和優勢。在語音識別之外，多模態識別對視覺感知的需求越來越高。其中，增加了深度信息的手勢識別，人臉面部表情識別，情緒識別，口語識別等功能將給車載AI助手賦予更高的智能，提升了智能座艙的用戶感受度，給予了良好的體驗。

對上述感知攝像頭方案進行比較，除了不帶深度信息的單目RGB+IR之外，其余3種都是深度相機的可選項。

雙目結構光+RGB方案，最大的問題在于實現算法需要很高的計算資源，導致實時性很差，而且基本跟分辨率，檢測精度掛鉤。也就是說，分辨率越高，要求精度越高，則計算越復雜，同時，純雙目方案受光照，物體紋理性質影響。所增加的RGB攝像頭只有1路，主要用于與深度圖的對比顯示。

TOF方案，由于硬件條件限制，其分辨率較低，感知精度低于結構光和雙目立體方案。需要多點激光發射，硬件成本高，但是它的算法復雜度低，實時性高，可達120幀率，并且硬件計算資源需求較低。

單目結構光方案，目的就是為了解決雙目中匹配算法的復雜度和魯棒性問題而提出，該方案解決了大多數環境下雙目的問題。但是，在強光下，結構光核心技術激光散斑會被淹沒，因此，在陽光強烈的時候，可能會失效。

三、DMS

DMS(Driver Monitor System)駕駛員監測系統的簡稱。指在駕駛員行駛過程中，全天候監測駕駛員的疲勞狀態，危險駕駛行為等。在發現駕駛員出現疲勞，打哈欠，瞇眼睛，抽煙，接打手持電話等行為后，DMS系統及時的對此類行為進行分析，并進行語音和燈光等提示，起到警示駕駛員，糾正錯誤駕駛行為的作用。

由于DMS主要用于駕駛員異常行為的監測，因此它主要屬于ADC自動駕駛域，而不屬于CDC智能座艙域。但是DMS一般安裝在艙內A柱下方，直接面對駕駛員的面部，因此也可以算入智能座艙內部的攝像頭之一。

DMS一般采用2MP的紅外攝像頭，無需采用RGB工作模式。它所拍攝的畫面，需要讓“機器”能夠看得清，讓AI算法對駕駛員的狀態分析準確；而無需讓“人”看得舒服。因此，DMS只要求到2MP的像素分辨率即可，并且需要紅外補光攝像頭，保證在任何光照條件下都能夠讓機器看清楚駕駛員的面部特征。

需要注意的是，DMS和OMS都具有紅外補光燈，因此需要設計專門的紅外燈同步信號，確保DMS和OMS的補光燈不能同時工作，以避免產生過曝現象。

DMS感知算法的進一步提升，還包括眼動跟蹤，面部表情，情緒監測等。與人工智能助手相配合的多模態識別，還將包含口型檢測等進一步的AI識別算法得到應用。

四、行車記錄儀

車載DVR，即Digital Video Recorder，也正是行車記錄儀。在DVR的功能當中，分為車載前裝DVR和后裝DVR。后裝DVR一般是獨立的行車記錄儀設備，它使用音視頻編碼技術，將DVR自帶的攝像頭數據進行轉換和壓縮，保存在DVR的存儲設備中。由于后裝設備無需滿足車規標準，在汽車出廠時也不包含此設備，需要在汽車配件市場進行后期安裝，因此它可以采用消費級的電子芯片，其可靠性也遠遠達不到車規級的要求。

前裝DVR則需要滿足車規級標準，在汽車出廠時就已經安裝完畢，它的使用年限和可靠性都需要按車規電子的標準來要求。

通常，前裝DVR可以無需設置單獨的攝像頭，而是直接復用ADAS自動駕駛域的攝像頭即可。一般來說，DVR可以保存前向廣域攝像頭(FOV達到120°)+SVC 360環視攝像頭的圖像數據。為了滿足白天+黑夜的數據記錄要求，以及滿足進出隧道等攝像頭高動態范圍識別要求，前向DVR攝像頭和SVC環視都要求滿足HDR(High Dynamic Range)的要求。因此，必須要求攝像頭支持HDR模式，ISP也要求支持HDR模式。

五、360環視

SVC(Surround View Cameras)即環視攝像頭，它一般布局在車頭(前向)，車尾(后向)，左后視鏡(左向)，右后視鏡(右向)。SVC是多攝像頭系統，允許駕駛員擁有360度視野，實時查看車輛周邊環境。此系統通過顯示圖像合成算法，將多個攝像頭的視角融合，得到在高處環視車輛的“上帝視角”。

SVC 同樣主要屬于ADC自動駕駛域，因為對于泊車輔助系統來說，需要SVC攝像頭來幫助感知泊車的停車位和周邊環境。因此，SVC 360環視攝像頭也被稱為Parking Assistance Camera。

SVC攝像頭具有如下幾個特點：

六、流媒體后視鏡

6.1 法規

CMS(Camera Monitor System)即流媒體后視鏡。CMS是用電子方式取代傳統的玻璃鏡面倒車鏡，它有很多個名字，有叫電子側視鏡，虛擬倒車鏡，電子倒車鏡，電子取代鏡等，ISO 國際標準組織稱其為攝像頭監控系統，即 Camera Monitor System。

圖片來源：奧迪

奧迪 e-tron 在 CMS 系統搭載了兩個 7 英寸、1280x1080 的 OLED 屏幕。據稱是 OLED 屏響應速度快大約 100 毫秒。奧迪表示，外側攝像頭系統有助于將阻力系數從美國版的 0.28 提高到歐洲版的 0.27。對于純電動汽車來說，在高速公路上，這個微小的差別可以增加 3 英里的續航里程。這個非規則形狀的 OLED 屏成本極高，且角度略低，容易導致駕駛員分心，下一代奧迪很有可能改回標準矩形，放在 A 柱附近。

目前全球只有日本和歐洲的法規允許使用電子后視鏡系統代替玻璃視鏡。歐洲法規方面主要有 UN ECE R46-2016《關于間接視野裝置及安裝間接視野裝置車輛認證的統一規定》和 ISO 16505-2019《攝像頭監視系統的人體工程學和性能方面的要求和試驗程序》。還有一個法規 IEEEP 2020 Standard for Automotive System Image Quality（車載相機圖像質量標準）， IEEEP2020 希望規范是車上的所有的攝像頭圖像質量相關的測試和問題。無論是人類視覺應用，還是計算機視覺應用都在其范疇。并且其主要規范的就是攝像頭成像系統的圖像質量。

目前CMS還需要專用的攝像頭(HDR)，傳輸通道，以及顯示屏。攝像頭分辨率和幀率一般最高只能達到2MP 60fps或者4MP 30fps，且成本相當高昂，在實用性上還有一定的差距。

最新的中國國標GB 15084-2022已經于2023-07-01生效，允許汽車安裝流媒體后視鏡，其中包括各種I，II，III類鏡。

6.2 CMS性能要求

對于乘用車來說，首先需要區分I類鏡和III類鏡的區別，這個十分重要。

I類鏡，也稱為電子內后視鏡，它主要是利用后置攝像頭，將Camera拍攝到的視頻流傳輸到車內中央的后視鏡上進行顯示。而III類鏡，也稱為電子外后視鏡，它主要用于替代車身左右側外部后視鏡，將安裝在車身兩側向后觀察位置的攝像頭視頻流顯示在車內顯示屏上。

在GB15084-2022中，對CMS的性能提出了非常具體的要求，并提出了檢測標準：

亮度調節：監視器的亮度應能根據環境條件手動或自動調節。

方向均勻性：為了確保駕駛員在預期的不同方向觀察顯示屏時，顯示屏具有足夠的可見性，限制從不同方向觀察的圖像亮度衰減，并規定了方向均勻性。

亮度對比度復現：為了確保CMS在不同使用環境條件下的圖像質量以及可辨識的車外視野，規定了亮度對比度復現的要求，分別選取陽光直射，散射環境光，日落條件，夜間條件等4種典型場景來評估。

灰度與色彩還原：CMS應能在顯示屏上顯示至少8個不同的灰度等級；在色彩還原度測試上，按ISO16505規定的方法進行試驗，并滿足規定的要求。

彌散：為了避免強光源照射攝像機鏡頭而在顯示屏上形成光芒狀的亮條對駕駛員產生干擾，規定了彌散要求，限制彌散亮度值，不大于引起彌散的光源影像最大亮度值的10%。

光暈和眩光：按ISO16505規定的方法進行試驗，光暈和鏡頭眩光區域應不大于所顯示影像面積的25%。

點光源：為了在夜間行車時駕駛員能夠明確區分車后機動車的兩個前照燈，規定了點光源的要求。點光源發現系數應不小于2.7，或點光源對比度系數應不小于0.12。

銳度，景深，幾何畸變：為了使駕駛員觀察車外視野內目標的識別能力，需要規定銳度，景深，幾何畸變的測試標準，并按ISO16505規定的方法進行驗證。

幀率：CMS的幀率至少為30fps，在低光照條件或車輛低速行駛時可以降低到15fps。

成像時間和系統延遲：顯示器成像時間應小于55ms，車外事件發生時到車內監視器輸出圖像的時間為系統延時，不應低于200ms。

根據上述國標的測試標準來看，CMS要滿足汽車前裝的要求，需要從攝像頭，控制芯片，ISP處理，顯示屏等一系列環節進行系統分析，在光學，機械，電子等方面進行軟硬綜合一體的設計，才能得到滿意的結果。

6.3 CMS系統架構

CMS系統有“MCU方案”和“SOC方案”兩種配置——前者功能簡單、價格低、延時低；后者功能豐富、價格高、延時高。CMS系統核心的處理任務是ISP，如果只是將CMS攝像頭采集到的圖像用來做顯示的話，就只需要MCU即可；另外可以在經過ISP處理后的圖像基礎上加一些應用層的功能（例如BSD、開門預警等功能），但是需要加SOC。前者MCU方案功能簡單，省去了SOC核心板成本，價格更低；后者SOC方案價格更高，由于新增一些功能處理，系統延時也相較于前者更高。MCU方案中ISP處理可以放在顯示屏里（屏廠Tier1偏好的方式），也可以放在攝像機里（攝像機Tier1偏好的方式）。對于MCU方案，CMS系統負責ISP的處理器可以放在屏幕里，也可以放在攝像機中，這種方案沒有獨立的CMS控制器。對于SOC方案，可以放在獨立的CMS控制器中，未來也可以被集成到智能駕駛域控制器或者智能座艙域控制器中。

上述不同的方案對應了不同的系統成本，簡要介紹2種不同的系統架構方案：

1、處理芯片ISP集成在屏幕，與相機模組分離：顯示屏供應商希望把整個處理囊括在屏里，也就是把基于顯示屏為處理核心的模塊嵌入到屏的板子上，來處理前端相機傳輸進來的圖像信息，來配合整個屏的模組模塊化設計。。

2、處理芯片ISP與相機集成在外耳，與艙內顯示屏分離：做耳鏡也就是攝像頭的供應商，他們希望把處理器嵌入到兩側耳鏡當中，來適配艙內不同屏的廠家。這種方案可以使得整個系統小型化，在外耳鏡端器件可以用小的封裝在長條形或者半圓形的兩側耳鏡模塊當中。攝像頭采集到的Rawdata傳輸進來可以在耳鏡端直接做ISP處理，然后在艙內顯示屏中做顯示。