Yole Dédevelopement影像首席分析師Pierre Cambou曾斷言:“預(yù)計到2025年,DMS市場的加速發(fā)展將帶來43%的復(fù)合年增長率。它可能是高級駕駛員輔助系統(tǒng)(ADAS)攝像頭的下一個增長點,因為駕駛員分心正在成為一個棘手問題,正引起監(jiān)管機構(gòu)的注意?!?/p>
人,才是道路殺手
據(jù)報道,僅美國每年就有約4萬人死于道路交通事故,其中95%是人為失誤造成的。據(jù)世界衛(wèi)生組織估計,全球死亡人數(shù)約為130萬人,顯而易見,人類根本不適合重復(fù)性和平淡無奇的駕駛。在無聊、分心和疲勞等因素的綜合作用下,一些駕駛員會在高速公路上長時間看著手機或社交媒體,而他們卻控制著以每小時60英里速度行進(jìn)的兩噸金屬。
今天,沒有其他學(xué)科能像自動駕駛那樣引起如此激烈的爭論,也沒有任何一門學(xué)科能像自動駕駛那樣觀點兩極分化。歸納起來有三種不同趨勢,每種趨勢都有不同的供應(yīng)商、價格點和技術(shù)。
·無人駕駛出租車:其擁躉認(rèn)為,公共交通和私家車已接近末日,取而代之的是Waymo和Cruise的無人駕駛出租車車隊;
·特斯拉(自動駕駛):其粉絲們相信馬斯克將在未來兩個季度內(nèi)實現(xiàn)稱霸世界;
·傳統(tǒng)汽車OEM:追求更安全的放手駕駛目標(biāo),不太可能很快就把自己的地位拱手讓給硅谷新貴們。
ADAS來到2.0:安全第一
雖然有2018年及以后自動駕駛汽車(AV)發(fā)生的多起死亡事故,令汽車OEM及其零部件合作伙伴退后了一步,以更好地平衡安全與高科技先進(jìn)功能,但市場仍然巨大。Allied Market Research預(yù)測,2026年自動駕駛汽車市場將達(dá)到5570億美元,到2026年的復(fù)合年增長率可達(dá)39.5%。不過,影響增長的一些重要因素包括:改善安全和減少交通擁堵、政府監(jiān)管、聯(lián)網(wǎng)基礎(chǔ)設(shè)施的增長、高制造成本、對聯(lián)網(wǎng)汽車的更高需求以及智能城市的發(fā)展。
汽車OEM和Tier1在實現(xiàn)自動駕駛目標(biāo)方面仍面臨巨大挑戰(zhàn),這使一些公司降低了對自動駕駛汽車的期望,并將更多的注意力放在了ADAS上。人們的基本共識是:自動駕駛?cè)匀皇且粋€不容易實現(xiàn)的目標(biāo),包括新興科技初創(chuàng)企業(yè)、領(lǐng)先汽車OEM/Tier1,乃至Waymo這樣資金雄厚的自動駕駛先驅(qū)者。
IHS Markit汽車信息娛樂和ADAS研究總監(jiān)Egil Juliussen說:“人們意識到,自動駕駛汽車確實很難實現(xiàn),尤其是證明其軟件是安全的。”一個很大的問題在于,駕駛員仍然需要觀察道路,但是安全系統(tǒng)如何確保駕駛員的眼睛盯著擋風(fēng)玻璃,而不是在看其他分散注意力的東西?
面對2018年AV產(chǎn)業(yè)的降溫,VSI Labs的創(chuàng)始人Phil Magney表示:“與最初確立的崇高目標(biāo)相比,AV技術(shù)的推廣比人們所意識到的要困難得多。”他補充道:“現(xiàn)在,汽車行業(yè)對ADAS重新產(chǎn)生了興趣。如果您愿意,可以稱之為ADAS 2.0。”
何為DMS?
DMS就是駕駛員監(jiān)控系統(tǒng)(driver monitoring system),其應(yīng)用包括檢測分心或打瞌睡的駕駛員,通常使用對近紅外光高度敏感的全局快門式傳感器,這些傳感器足夠緊湊,可以隱藏在車輛裝飾后面。
DMS的重要性不言而喻,歐盟(通過Euro NCAP)已要求2022年前所有在歐洲銷售的新車都必須安裝一個DMS攝像頭。為此,DMS的普及率將直線上升。
新的趨勢是,汽車安全技術(shù)正從車外應(yīng)用轉(zhuǎn)向車內(nèi)應(yīng)用,感測技術(shù)正在將駕駛員狀態(tài)監(jiān)測與外部環(huán)境讀數(shù)結(jié)合在一起。與此同時,汽車人工智能(AI)集成正在成為汽車安全的推手,其范圍已超出娛樂和用戶輔助功能。
未來,駕駛員監(jiān)控功能的主要應(yīng)用將集中在開發(fā)更主動、更可靠、更精確的攝像頭系統(tǒng)。這些系統(tǒng)能夠通過虹膜追蹤和行為監(jiān)測實時識別駕駛員是否疲勞、分心或駕駛不當(dāng)。這意味著,在開發(fā)自動駕駛系統(tǒng)(ADS)時,DMS將成為“標(biāo)配”,因為它可同時提供多種功能,包括實時檢測/提醒、駕駛員能力評估和必要時接管駕駛控制。預(yù)計在不久的將來會出現(xiàn)集成DMS的車輛。
其實,對L2-L3自動駕駛系統(tǒng)而言DMS非常重要,而對L4以上就沒有什么意義了,因為彼時已不需要駕駛員對行車過度干預(yù)。
DMS是最務(wù)實的方案
現(xiàn)階段,如何讓人類駕駛更安全是整個行業(yè)的追求。對OEM來說,L4和L5自動駕駛所需的傳感器套件、GPU和傳感器融合軟件的成本和功耗都很高。目前實現(xiàn)更安全的放手(L2)和脫眼(L3)駕駛的唯一短期、經(jīng)濟有效的解決方案只有DMS。
最著名的DMS是采用通用汽車超級巡航的凱迪拉克CT6,它是安裝在轉(zhuǎn)向柱上的小型近紅外(NIR)攝像頭,方向盤嵌入的近紅外發(fā)光二極管可照亮駕駛員頭部,并與一系列多色LED一起提供簡單的信號。該系統(tǒng)在近紅外光譜(940nm)下工作,基本不受外界光照條件(陽光直射、天氣和隧道)的影響,也可以在夜間工作,且可透過大多數(shù)太陽眼鏡。
CT6的駕駛員監(jiān)控技術(shù)由澳大利亞供應(yīng)商Seeing Machines提供,最近,其行業(yè)領(lǐng)先的DMS已擴展到乘客監(jiān)控方面。過去一年里,超級巡航得到了新聞界和科技界的普遍贊譽。DMS可以追蹤駕駛員的上半身和頭部位置,在管理人類分心和疲勞以及支持更安全L2放手駕駛方面很有效,引起了Euro NCAP、歐盟委員會和NTSB的注意。其他基于攝像頭的DMS技術(shù)供應(yīng)商包括瑞典的Smart Eye(奧迪和各種寶馬車型)和三菱(Subaru Forester)。
未來兩年,計劃推出DMS攝像頭量產(chǎn)車輛的OEM陣容相當(dāng)龐大,包括寶馬、戴姆勒、菲亞特克萊斯勒、福特、吉利、捷豹路虎、斯巴魯、大眾汽車(奧迪和保時捷品牌)和沃爾沃。OEM正迅速在流行車型中采用基于攝像頭和雷達(dá)的低成本L2 ADAS。因此,2020年的主要趨勢是自動緊急制動(AEB)、車道保持輔助(LKAS)、盲點監(jiān)控(BLIS)和增加DMS。
即使是L4最響亮的倡導(dǎo)者英偉達(dá)(Nvidia)也改變了其公關(guān)策略,CEO Jensen Huang表示:“L2車將在很長一段時間內(nèi)存在,駕駛員監(jiān)控非常重要,人工智能會在你睡著的時候叫醒你?!?/p>
DMS在“看著”你的眼睛
“眼睛是你心靈的窗戶。”——莎士比亞
“臉是心靈的圖畫,眼睛是它的叛徒?!薄魅_
就像撲克專家能夠察言觀色一樣,通過對人眼的復(fù)雜實時分析,可以了解人的很多認(rèn)知和情緒狀態(tài)的信息。
除了身體和頭部位置,DMS還追蹤和測量眼瞼——眨眼頻率、持續(xù)時間和眨眼速度的實時變化——以準(zhǔn)確測量駕駛員的疲勞程度。通過監(jiān)控瞳孔和使用非常復(fù)雜的算法,DMS可以評估視線,并精確地確定駕駛員在看什么。
DMS還將作為一個先進(jìn)的生物認(rèn)證系統(tǒng),在啟動車輛前對人的面部和眼睛進(jìn)行多次測量,以確認(rèn)駕駛員身份。加上手機車門解鎖,傳統(tǒng)無鑰匙進(jìn)入和防盜系統(tǒng)的日子似乎已來日無多。汽車(包括共享車輛)可以知道誰坐在方向盤后面,根據(jù)偏好自動調(diào)節(jié)座椅和后視鏡位置、收音機播放、空調(diào)等,實現(xiàn)自動個性化。精確的視線追蹤還可以實現(xiàn)對車載功能的控制。駕駛員只需查看抬頭顯示器上的圖標(biāo),就可以與車內(nèi)的許多系統(tǒng)(電話、空調(diào)、音頻或?qū)Ш剑┻M(jìn)行交互或調(diào)節(jié)。
方案軟硬兼施
其實,做DMS的廠商并不多,這里介紹幾家。
·軟件算法:
EyeTracking開發(fā)的一種專利程序可以通過小型攝像頭實時監(jiān)控認(rèn)知負(fù)荷。采用認(rèn)知活動指數(shù)(Index of Cognitive Activity?,ICA)的視線追蹤算法能夠讓車輛實時了解駕駛員的工作強度,通過監(jiān)測瞳孔大小的微小而快速的波動,可以測量駕駛員的實時認(rèn)知工作負(fù)荷,這種波動是由于人的腦力活動而引起的。ICA方法濾除光對瞳孔信號的影響,只保留所需的測量信息。
最新汽車技術(shù)提供了前視攝像頭來檢測前方的物體,如汽車、騎自行車的人和行人。但駕駛員真的看到了嗎?雖然傳統(tǒng)視線追蹤數(shù)據(jù)可以告訴你一個人的眼睛看向哪里,但它不能知道你是否真的“看到”了他要看的東西。EyeTracking的專利技術(shù)可以回答這個問題。
EyeTracking技術(shù):檢測瞳孔反應(yīng)、眨眼和頭部位置
使用ICA,車輛可以知道駕駛員是否專注,使車輛能夠意識到:“駕駛員似乎精神負(fù)荷增加,是否應(yīng)該提醒他?”“現(xiàn)在處于完全自動駕駛模式,駕駛員是否精神飽滿,是否準(zhǔn)備好重新控制車輛?”
當(dāng)一個人的認(rèn)知狀態(tài)改變時,他的行為也會改變。視線追蹤認(rèn)知狀態(tài)技術(shù)可以檢測人的眼睛、面部和工作負(fù)荷水平的變化,并利用這些信息來確定此人是否專注、疲勞、無聊、超負(fù)荷、分心等等。一旦識別出來,認(rèn)知狀態(tài)估計值就可以傳遞給ADAS,以納入有關(guān)車輛安全、乘客舒適度等方面的決策。
作為視線追蹤行業(yè)中第一家專門致力于眼睛數(shù)據(jù)的應(yīng)用、解釋和分析的公司,EyeTracking利用專利動態(tài)興趣區(qū)域技術(shù),結(jié)合計算機處理能力和GPU的擴展,能夠?qū)崟r識別駕駛員前方物體(如行人、路標(biāo)等),并將其與駕駛員頭部追蹤方向或視線追蹤“注視點”數(shù)據(jù)相關(guān)聯(lián)。
EyeTracking總裁兼首席技術(shù)官James Weatherhead表示,車輛的環(huán)境感知系統(tǒng)(尤其是前視攝像頭)可用來識別車輛前方的危險,監(jiān)控駕駛員視線的內(nèi)部攝像頭系統(tǒng)可用來識別駕駛員的視線。如果汽車處于完全自動駕駛模式,車輛系統(tǒng)可能會選擇不允許駕駛員接管車輛的控制權(quán),因為它認(rèn)為駕駛員沒有注意到前面檢測到的危險。
EyeTracking的駕駛員注意力技術(shù)可以單獨使用,也可以與其他駕駛員認(rèn)知工作負(fù)荷和認(rèn)知狀態(tài)測量技術(shù)相結(jié)合。EyeTracking正與業(yè)界合作,除了通過其OEM服務(wù)部門為客戶制造采用該技術(shù)的定制產(chǎn)品外,還可以為各種應(yīng)用提供IP授權(quán)。
·系統(tǒng):
推出L3自動駕駛系統(tǒng)的汽車制造商正在迅速采用DMS。Veoneer開發(fā)的DMS可以在手動和自動駕駛情況下調(diào)用,通過精確測量眼睛和頭部位置、駕駛員注意力和疲勞程度來提醒駕駛員。當(dāng)發(fā)現(xiàn)或即將發(fā)生危險情況時,DMS將采取行動。
Veoneer的解決方案建立在傳統(tǒng)系統(tǒng)基礎(chǔ)上,為人機交互系統(tǒng)增加了人臉識別、表情識別等功能,增強了駕駛員/車輛的信任度,讓未來的車輛能夠做出更好的決策,以提高舒適性和安全性。
VIA Mobile360駕駛員監(jiān)控系統(tǒng)通過Mobile360 DMS技術(shù)監(jiān)控和檢測駕駛員行為,以識別潛在的危險或違規(guī)行為,如飲食和吸煙,以及疲勞和走神的跡象,從而提高道路安全。車隊管理人員還可以通過提供與云計算相關(guān)的數(shù)據(jù),采取必要的措施解決可能會影響駕駛員績效和健康狀況的問題。
監(jiān)測與檢測包括:長途卡車、送貨車、出租車和代駕車輛駕駛員的睡意;使用手機、吃東西、喝酒和抽煙等分散對道路注意力的情況;不遵守安全程序(如安全帶)等可能導(dǎo)致駕駛員嚴(yán)重受傷、保險和法律責(zé)任的情況;駕駛員身份確認(rèn),最大限度地降低被盜風(fēng)險,防范乘客風(fēng)險。
用DMS技術(shù)實現(xiàn)車隊管理
VIA Mobile360 DMS技術(shù)具有靈活的配置,可與VIA Mobile360 ADAS、VIA Mobile360 SVS和其他相關(guān)技術(shù)集成,以滿足客戶特定的部署需求。
為OEM提供完整的系統(tǒng)
Veoneer董事長、總裁兼首席執(zhí)行官Jan Carlson表示,公司正在與高通一起為下一代ADAS和自動駕駛系統(tǒng)提供方案,包括Veoneer的下一代感知和駕駛策略軟件堆棧,以及高通支持Snapdragon Ride ADAS/AD的SoC和加速器的產(chǎn)品組合。這些合作協(xié)議擴大了市場機會,使Veoneer成為向OEM提供完整系統(tǒng)的SoC和軟件堆棧系統(tǒng)集成商。
·芯片
重頭戲應(yīng)該是作為系統(tǒng)基礎(chǔ)并可能使系統(tǒng)變?yōu)槟K的芯片。6月,OmniVision推出全球首款汽車晶圓級攝像頭模塊CameraCubeChip? OVM9284,解決了部署DMS攝像頭躲不過的一個現(xiàn)實問題——“太顯眼”,為更多車輛改善DMS體驗打開了方便之門。它將先進(jìn)的圖像傳感器技術(shù)集成到晶圓芯片規(guī)模封裝中,實現(xiàn)了以下特性:
·利用OmniVision的正面和背面照明CMOS圖像傳感器技術(shù)的CMOS圖像傳感器;
·采用半導(dǎo)體堆疊方法制作晶圓結(jié)構(gòu)層的晶圓級光學(xué)元件;
·采用OmniVision晶圓芯片級封裝專業(yè)技術(shù)——表面貼裝處理工藝,簡化了供應(yīng)鏈;
·具有先進(jìn)成像能力的超薄、緊湊器件的完全集成組件,可以實現(xiàn)小尺寸高質(zhì)量的攝像頭方案,還可以在一個設(shè)備中安裝多個攝像頭,提供適合微小空間的微型攝像頭模塊。
OmniVision市場總監(jiān)Aaron Chiang說,這個100萬像素(MP)模塊的緊湊尺寸僅為6.5 x 6.5 mm,可在駕駛室內(nèi)隱藏起來,為DMS設(shè)計人員提供了最大的靈活性。此外,其功耗比競爭產(chǎn)品低50%以上,能夠在最狹小的空間和盡可能低的溫度下連續(xù)運行。
他說:“現(xiàn)有的DMS攝像頭大多使用玻璃鏡頭,體積大,難以避免分散駕駛員的注意力,而且對大多數(shù)車型來說,價格太貴?!?/p>
OmniVision為晶圓級攝像頭模塊創(chuàng)建了簡化的一站式采購模式,組裝和運輸量最少??苫亓骱窩ameraCubeChip? 可直接焊接在印刷電路板上,無需插座或插接,使集成變得更加簡單,為需要微型攝像頭方案的市場提供了更多選擇。
就在剛剛,OmniVision、Ambarella和Smart Eye成為了汽車行業(yè)首個DMS和視頻會議攝像頭解決方案合作伙伴,共同推出了將OmniVision RGB和紅外成像雙模全局快門式圖像傳感器、Ambarella AI Vision處理器和Smart Eye AI DMS軟件算法相結(jié)合的參考設(shè)計。特別是Smart Eye的DMS解決方案提供了可集成在乘用車及其他車輛中的視線追蹤軟件,以提升安全性和改善用戶體驗。軟硬件的結(jié)合對于方案部署的重要性可見一斑。
現(xiàn)在,汽車中可以用一個攝像頭實現(xiàn)完整的雙模式攝像頭應(yīng)用——DMS和Videocall(視頻通話工具)!這種聯(lián)合解決方案能夠?qū)崿F(xiàn):
·全方位駕駛員和座艙監(jiān)控:從安全應(yīng)用到增強現(xiàn)實顯示,以及具有深度神經(jīng)網(wǎng)絡(luò)和AI內(nèi)部感測;
·單向視頻會議:允許遠(yuǎn)程會議參與者看到車內(nèi)視頻,而車輛只接收音頻,以減少駕駛員分心。
Smart Eye首席執(zhí)行官Martin Krantz說:“我們的AI軟件使汽車OEM和Tier1能夠部署具有先進(jìn)AI功能的新一代駕駛員和車內(nèi)監(jiān)控系統(tǒng),為駕駛員和乘客增加安全性和便利性。這種雙模式聯(lián)合解決方案具有獨特的能力,可以在不考慮照明條件的情況下,在監(jiān)控駕駛員的同時拍攝視頻會議圖像。它有助于OEM滿足歐盟新車安裝DMS攝像頭要求,同時靈活實現(xiàn)個性化車輛特征。”
DMS的未來
分心駕駛是一個很廣泛的問題,“永遠(yuǎn)在線”的文化使許多人在開車時不可能關(guān)掉手機,把注意力集中在駕駛上。解決駕駛時手機分散注意力的一種方法是將手機和社交媒體更深入地整合到汽車用戶界面中(可能是悖論)。預(yù)計2028將出現(xiàn)4K UHD增強現(xiàn)實擋風(fēng)玻璃和全抬頭顯示。信息、社交媒體提示和路線規(guī)劃都將投射到擋風(fēng)玻璃——駕駛員的視野中。
利用“近凝視/遠(yuǎn)凝視”概念的視線追蹤軟件將監(jiān)控駕駛員閱讀信息時視線偏離前方道路的時間。駕駛員可直接從擋風(fēng)玻璃上讀取手機信息,但每次只能讀取幾秒鐘。從安全角度看,駕駛員的直接視野永遠(yuǎn)不會離開前方道路。
酒后/醉酒駕車是執(zhí)法機構(gòu)面臨的一個主要問題,但僅在車輛DMS系統(tǒng)中添加“醉酒檢測”并非易事。酒精是一種抑制劑,而像安非他明和可卡因這樣的毒品是興奮劑,所以很難用攝像頭來測量一個既喝醉又吸毒的人的凈效應(yīng)。要了解人類眼睛對酒精和毒品的各種組合反應(yīng)還要進(jìn)行大量研究,而這個問題不能僅通過應(yīng)用深度學(xué)習(xí)和AI來解決。減少道路交通事故需要防止既醉酒又吸毒的人開車,所以這將是未來DMS的一個重點。
情感使我們成為人類,人的情緒會影響我們的駕駛方式,在和孩子或伴侶吵架,或在工作中度過了糟糕的一天之后,我們也會坐在方向盤后面。究竟是通過更多的科學(xué)和人為因素研究(視覺機器),還是通過AI情緒識別(Affectiva)的發(fā)展來識別情感,目前還不清楚。然而,了解人類的情緒和認(rèn)知負(fù)荷將是汽車行業(yè)長期研究中最令人興奮的領(lǐng)域之一。
責(zé)任編輯:xj
-
芯片
+關(guān)注
關(guān)注
454文章
50460瀏覽量
421980 -
adas
+關(guān)注
關(guān)注
309文章
2170瀏覽量
208536 -
DMS
+關(guān)注
關(guān)注
0文章
82瀏覽量
16216 -
自動駕駛
+關(guān)注
關(guān)注
783文章
13694瀏覽量
166168
發(fā)布評論請先 登錄
相關(guān)推薦
評論