人類從外界獲得的信息約75%來自視覺系統，而在駕駛行為中尤為突出，駕駛員駕駛需要的信息90%來自視覺。藉此，在自動駕駛的感知系統中，視覺感知成為了重要的一環。

相比于超聲波雷達、毫米波雷達、激光雷達等傳感器，攝像頭誕生時日更久，但基于攝像頭的感知技術，興起并沒有多年。

CV（Compute Vision）計算機視覺或稱機器視覺，是一門通過圖像獲取所需要信息的學科，在實際的應用中，會通過硬件的攝像頭，獲取圖片或者視頻信息，中間需要經過內部的ISP、DSP處理，以得到更清晰的圖像，然后利用深度學習的算法，對獲得的圖片信息進行分析、處理，最終得到現實世界通過圖像映射而來的數字或符號信息，以便于機器理解現實世界。

在這個過程中，涉及到的最核心技術，就是對圖像的分析、處理，工程應用中，視覺芯片擔當了處理的核心任務。

得益于CV在識別、運動分析、場景重建、圖像恢復的能力，其廣泛應用于安防、無人機、自動駕駛等領域。

而在自動駕駛中，CV不僅可以識別障礙物（行人、車輛等）、道路情況，還可用于構建地圖。相比于傳統消費領域，汽車的使用環境更為復雜嚴苛，因此CV在自動駕駛領域的應用才剛起步。CV芯片作為整個視覺感知技術中最關鍵的一環，目前也還處在初期。

CV&自動駕駛

在自動駕駛中應用CV技術，CV技術必須具備實時性、魯棒性、實用性這三個特點。

實時性要求CV系統的數據處理必須與車輛的高速行駛同步進行；

魯棒性是要求智能車輛對不同的道路環境如高速公路、市內公路、普通公路等，復雜的路面環境如路面的寬度、顏色、紋理、彎道、坡度、坑洼、障礙與車流等，各種天氣晴、陰、雨、雪、霧等均具有良好的適應性；

實用性指智能車輛能夠為普通用戶所接受。

目前，CV主要用于路徑的識別與跟蹤。與其它傳感器相比，CV具有檢測信息量豐富、無接觸測量和能實現道路環境三維建模等優點，但數據處理量極大，存在系統實時性和穩定性問題，要靠開發高性能的計算機硬件，研究新算法來解決。

隨著計算機技術和圖像處理技術的飛速發展，三維重建道路環境為車輛高速智能駕駛提供強大的信息，在不遠的將來具有現實可行性。

CV的道路識別基本原理為，公路路面的環境（白色路標、邊緣、路面顏色、坑洼、障礙物等）的CCD圖像灰度值和圖像紋理、光流有差異。

根據這種差異，經圖像處理后可以獲得需要的路徑圖像信息，如方位偏差、側向偏差、車輛在道路中的位置等信息。將這些信息與車輛的動力學方程相結合，可構成車輛控制系統數學模型。

深度學習在CV中應用廣泛，主要是因為深度學習算法的通用性很強，比如faster RCNN在人臉、行人、一般物體檢測任務上都可以取得非常好的效果；深度學習獲得的特征(feature)有很強的遷移能力，比如在ImageNet（物體為主）上學習到的特征在場景分類任務上也能取得非常好的效果；

深度學習計算主要是卷積和矩陣乘，針對這種計算優化，所有深度學習算法都可以提升性能，因此工程開發、優化、維護成本低。

CV在自動駕駛中使用，必須具備可靠、低功耗、超強算力等特點，因此基于CV的自動駕駛專用芯片也就應用而生。

CV芯片的研發制造，除卻工藝難度，最大的難度便在于芯片的設計，算法的調教。擁有芯片設計能力的公司并不多，大部分公司都是基于一些成熟的IP核進行研發。

業內人士表示，基于外部Ip核開發，是一種普遍的做法，但在調校算法以及芯片的性能過程中，由于不具有自下而上的能力，很難將芯片的性能發揮到極致。如此一來，就會在各個性能指標上存在差距，比如功耗，算力等。

CV芯片廠商之國際力量

針對自動駕駛領域的視覺芯片的公司，全球范圍內有ADI、NXP、TI、Mobileye/ST、Movidius、NEXTCHIP 、Ambarella、Inuitive等公司。

ADI（Analog Devices, Inc.）是數字信號處理芯片(DSP)廠商，其發布的Blackfin處理器（BF60X系列）專門針對ADAS，具有車道偏離警告、交通信號識別、智能前燈控制、物體檢測/分類、行人檢測等功能。

低端系統基于BF592，實現LDW功能；中端系統基于 BF53x/BF54x/BF561，實現LDW（車輛偏離預警系統）/HBLB/TSR（Traffic SignRecognition道路交通標志識別系統）等功能；高端系統基于BF60x，實現LDW/HBLB（智能遠光燈控制）/TSR/FCW（前方碰撞預警系統）/PD（車輛探測）等功能。集成的視覺預處理器能夠顯著減輕處理器的負擔，從而降低對處理器的性能要求。

恩智浦S32V234是NXP的S32V系列產品中2015年推出的ADAS處理芯片，在BlueBox平臺上負責視覺數據處理、多傳感器融合數據處理以及機器學習。

該款芯片擁有CPU(4顆ARM CortexA53和1顆M4)、3D GPU(GC3000)和視覺加速單元(2顆APEX-2vision accelerator)，能同時支持4路攝像頭，GPU能實時3D建模，計算能力為50GFLOPs。S32V234在設計時加入了諸如ECC（錯誤檢查與糾正），FCCU（故障收集與控制單元），M/L BIST（內存/邏輯內置自測）等多種安全機制，能夠滿足ISO26262 ASIL B~C的需求。

德州儀器（TI）的TDA SoC系列，包括TDA2x、TDA3x、TDA2Eco，其中TDA3x系列可支持車線維持輔助、自適應巡航控制、交通標志識別、行人與物體檢測、前方防碰撞預警和倒車防碰撞預警等多種ADAS算法。

這些算法對于前置攝像頭、全車環視、融合、雷達與智能后置攝像頭等眾多ADAS應用的有效使用至關重要。此外，TDA3x處理器系列還能幫助客戶開發針對行人和車輛、前方碰撞預警及車線維持輔助的自主緊急制動（AEB）等符合NCAP程序的ADAS應用。

Mobileye雖然不是芯片制造商，但其同意法半導體（ST）合作，生產了知名的EyeQ系列芯片，用于自動駕駛。

其最先進的EyeQ5裝備了8枚多線程CPU內核，搭載18枚Mobileye的下一代視覺處理器。相比而言，EyeQ4作為上一代視覺SoC芯片，只配置了4個CPU內核和6個矢量微碼處理器（Vector Microcode Processor，俗稱VMP）。EyeQ5最多支持20個外部傳感器（攝像頭、雷達或激光雷達），而EyeQ4最多只能處理8個傳感器的數據信息。

NEXTCHIP（韓）是一個以圖像處理技術為主的公司，產品包括視頻監控、DVR、SOC、自動駕駛系統中的核心芯片，均是以圖形處理、傳輸為主的半導體芯片廠家。

公司涉及CV領域芯片是在自動駕駛系統的應用中，主打產品APACHE4是瞄準下一代的ADAS體系的SOC芯片。APACHE4加入了專用檢測引擎，支持行人檢測、車輛檢測、車道檢測和移動物體檢測四種監測類型。嵌入其中的CEVA-XM4圖像和視覺平臺可讓APACHE4的客戶使用高階軟件編程來開發差異化的ADAS應用。

安霸則一直是高清視頻業界的技術領導者，主要提供低功耗、高清視頻壓縮與圖像處理的解決方案，應用領域涵蓋安防、無人機、車機等。

2015年安霸以3000萬美元的價格收購了意大利初創自動駕駛公司VisLab，開始發力自動駕駛領域。

2017年到現在，安霸相繼發布了針對ADAS的CV1和CV2 系列芯片，CV1和CV2都在同一芯片上提供單目和立體視覺處理，CV1能夠對分辨率高達4K的視頻進行計算機視覺處理，CV2的深度神經網絡性能是CV1的20倍。

Inuitive是一家先進的3D計算機視覺和圖像處理器設計廠家，利用CEVA-XM4智慧視覺DSP的授權許可，運行復雜的即時深度感測、特征跟蹤、目標識別、深度學習和其它以各種行動設備為目標的視覺相關之演算法。

CEVA圖像和視覺DSP滿足最復雜計算攝影和電腦視覺應用對極端處理的需求，比如視頻分析、擴增實境和先進駕駛輔助系統(ADAS)。

Inuitive視覺處理器NU3000以第三代的CEVA-MM3101圖像和視覺DSP來提供立體視覺功能，現在是Google Project Tango生態系統中的一部分，開發人員能夠利用它來開發需要即時深度產生、映射、定位、導航和其它復雜信號處理演算法的應用。

國際知名汽車電子IC廠商，都紛紛發布了針對自動駕駛的CV芯片，但主要的應用領域還是在較低等級的ADAS。

業內人士表示，芯片廠商在推出一款芯片時，特別注重市場和時機，因為每一款芯片的研發都需要投入上千萬美金，成本的回收基本要依靠KK級別的出貨量。

如果時機未到，市場還未成熟，即使芯片性能、品質都能達到要求，但不能大規模銷售，仍會影響公司的計劃，甚至拖垮公司。

因此面對自動駕駛的浪潮，大部分傳統車載芯片巨頭，都還只是謹慎的在推ADAS級別的芯片，內部都在積累更高級別的技術，甚至在算力上一定程度可以滿足，但并不會盲目推出更高級別的芯片。

尚處早期的自動駕駛CV芯片市場

國內近年來也涌現出了不少初創公司推出了CV芯片，比如地平線、深鑒科技、寒武紀、西井科技。

地平線在2017年發布了后裝的征程1.0，征程能夠以1.5W的功耗，實現1Tflops的算力，每秒處理30幀4K視頻，對圖像中超過200個物體進行識別，能夠實現FCW/ LDW/ JACC等高級別輔助駕駛功能，滿足L2的計算需求。

計劃中的征程2.0將會支持4-6路攝像頭的同時接入；支持車輛、行人、車道線和可行駛區域的檢測；支持交通指示標志，包括交通牌、路標、地面標志、交通文字和符號的檢測和識別；支持一般障礙物檢測、地面缺陷檢測；征程3.0將會支持最多8路攝像頭的同時接入和多傳感器融合。

寒武紀在2017年發布了面向智能駕駛領域的IP核寒武紀1M，CEO陳天石介紹，它的性能將達到寒武紀1A的10倍以上，高度集成，具有更高的性能功耗比，目標是讓中國的汽車全部都用上國產智能處理器。

國產CV芯片目前的各項指標還只停留在要求較低的后裝水平，各個公司也希望在未來幾年能夠研發出符合車規要求的芯片。

但從后裝到前裝，芯片所要符合的不僅是車規的要求，還要經受OEM對公司沒有任何大規模前裝量產經驗的質疑。

業內人士透露，目前國內的OEM已經在積極布局下一代車型，基于視覺的ADAS功能也或多或少的被列入了產品規劃中。

對于CV方案的選型，OEM更傾向于一些具有量產經驗的廠商，算力、功耗以及價格都在考慮范圍內。OEM并不會因為要新增ADAS功能而盲目上CV芯片，如果原有的傳統芯片可以滿足相應功能的算力需求，那么OEM也會傾向于沿用上一代產品。

要做符合車規等級的CV芯片，并不容易，即使是原來具備傳統車載芯片的廠商也一樣。CV芯片市場目前還處在早期，傳統領域的巨頭也尚在摸索推廣階段，初創公司要想直接進入，難度不小。

除此以外，同等性能下的芯片功耗、價格將會成為各個廠商競爭的關鍵。