多光譜傳感器在汽車行業(yè)的優(yōu)勢？

幻實(shí)（主播）：本期節(jié)目我邀請到了疊鋮光電的CTO張博士,首先請您給我們介紹一下疊鋮光電聚焦什么領(lǐng)域呢？

張友偉（嘉賓）：好的，疊鋮光電是一家專注于做多光譜堆疊傳感器的研發(fā)型公司，我們近期推出的主要產(chǎn)品集中在可見光和熱紅外的雙光譜傳感器。

比如說我們常見的攝像頭，它是可見光的波段，然后我們還有熱成像的這種攝像頭，它只是在紅外的波段，我們要做的就是把兩種波段融合在一個傳感器上，使同一個傳感器能夠?qū)崿F(xiàn)對紅外和可見光兩種光譜的感知。

幻實(shí)（主播）：為什么當(dāng)時會選擇這種技術(shù)路線，有什么原因嗎？

張友偉（嘉賓）：近年來新能源汽車行業(yè)快速發(fā)展，我認(rèn)為自動駕駛將逐漸引領(lǐng)很多領(lǐng)域往后若干年發(fā)展方向，各種各樣的傳感器（比如可見光攝像頭、毫米波雷達(dá)、激光雷達(dá)、熱成像傳感器等）會進(jìn)入到車內(nèi)。但是，我們發(fā)現(xiàn)很多情況下，單一傳感器多多少少存在一些局限，它們各有各的優(yōu)勢，也各有各的弱點(diǎn)。比如說可見光傳感器，在太陽逆光直射你的時候，或者夜間光線很弱的時候、天氣狀況不好的時候，它都發(fā)揮不了很大的作用。

幻實(shí)（主播）：我們傳統(tǒng)的CMOS*傳感器在這種點(diǎn)是有局限性的。

CMOS傳感器：主要是利用硅和鍺這兩種元素所做成的半導(dǎo)體，使其在CMOS上共存著帶N（帶-電）和 P（帶+電）級的半導(dǎo)體，這兩個互補(bǔ)效應(yīng)所產(chǎn)生的電流即可被處理芯片記錄和解讀成影像。后來發(fā)現(xiàn)CMOS經(jīng)過加工也可以作為數(shù)碼攝影中的圖像傳感器，CMOS傳感器也可細(xì)分為被動式像素傳感器(Passive Pixel Sensor CMOS)與主動式像素傳感器(Active Pixel Sensor CMOS)

張友偉（嘉賓）：是的，實(shí)際上現(xiàn)在很多車廠也采用了多種傳感器相互協(xié)作融合的工作模式，希望把各種傳感器的長處結(jié)合在一起。

但也存在一些難點(diǎn)，比如各種傳感器之間在時間上同步性，即兩個分立的傳感器在同一時間上是否能夠同步，我看見某個物品的時候，另一個傳感器是否也在同一時間看到此物。

再比如說我在這個傳感器能夠看到目標(biāo)，在另一個傳感器看不到目標(biāo)的時候，我應(yīng)該相信誰，在信息上有矛盾的時候我們應(yīng)該做一些取舍。

幻實(shí)（主播）：您說的這些情況我估計(jì)現(xiàn)在都是有存在的，目前業(yè)界是怎么處理的？

張友偉（嘉賓）：是的，目前他們有制定一些策略，但是解決的方法并不完美。

例如在車的方向上，特斯拉是相對另類一點(diǎn)的，他始終堅(jiān)持用純視覺方案來解決自動駕駛問題，然后他前段時間好像把毫米波雷達(dá)也拿掉了。

Autopilot 自動輔助駕駛的視覺處理系統(tǒng)

（圖源：Tesla官網(wǎng)）

特斯拉實(shí)際上它對成本及整體的性能要求都非常高，多傳感器相融合這種方式在他看來成本過高，又不能很好的解決問題。

幻實(shí)（主播）：那么為什么我們的方案就可能會更好的解決問題，原理是什么？

張友偉（嘉賓）：因?yàn)槲覀儼褍蓚€傳感器堆疊在一起后，他們在時間及空間上都是同步的，得到的數(shù)據(jù)是一致的，這樣我們就解決了一些特殊場景和信息矛盾的問題。

同時，在我們可見光加紅外多光譜的圖像上面，它每個像素包含的信息更多，識別率更高。在進(jìn)行人工智能識別的時候，它實(shí)際上要有一個搜索空間，用了我們這個傳感器以后它的搜索空間會減小，因此需要的算力也會更少。

他們?nèi)绾螌?shí)現(xiàn)“1+1>2”的高性價比

幻實(shí)（主播）：目前來說咱們堆疊的傳感器首先要進(jìn)入的市場或場景是哪一個？

張友偉（嘉賓）：目前我們首先考慮汽車這個行業(yè)，不管是自動駕駛還是輔助駕駛，使用我們傳感器之后都能夠有很大的提升，同時在工業(yè)產(chǎn)品、安防消防等場景，包括一些其他的特種行業(yè)，實(shí)際上都可以得到很好的運(yùn)用。

幻實(shí)（主播）：假如汽車市場采購了我們的傳感器，是不是傳統(tǒng)的視覺傳感器就不被需要了，就像最近美國上市的一家激光雷達(dá)公司。您怎么理解你們的產(chǎn)品和他們產(chǎn)品之間的一個融合性？

張友偉（嘉賓）：其實(shí)我們的產(chǎn)品在可見光的維度上面是對它的一個增強(qiáng)，并非使用了我們的傳感器就能實(shí)現(xiàn)自動駕駛，只是說我們的產(chǎn)品相較于現(xiàn)有的傳感器是一個很大的進(jìn)步，為后期實(shí)現(xiàn)L4（L4級自動駕駛是指高度自動駕駛，能夠?qū)崿F(xiàn)駕駛?cè)虩o需駕駛員任何操作，但也會有限制條件）或更高級別的自動駕駛提供了更有力的工具，也并不是要取代其他的傳感器。

幻實(shí)（主播）：這個方向國外也有做嗎，還是說是我們是首先提出來往這個方向去走的？

張友偉（嘉賓）：目前我們倒是沒有看到別人在這么做，但并不只是我們擁有這項(xiàng)技術(shù)，在軍工和航天領(lǐng)域有過這樣的一些應(yīng)用先例，在民用市場上面我還沒有看到。

幻實(shí)（主播）：所以這真的是一個開拓性的應(yīng)用，你們向客戶推廣產(chǎn)品的時候覺得有壓力嗎？

張友偉（嘉賓）：其實(shí)還好，客戶還是非常感興趣的，所以我們一直在努力盡快把這個產(chǎn)品落地，并進(jìn)行量產(chǎn)化。

幻實(shí)（主播）：堆疊而成的增強(qiáng)式多光譜傳感器，相比于原有方案的造價，會增加很多嗎？

張友偉（嘉賓）：事實(shí)上芯片量產(chǎn)化以后，雖然它的成本增加，但邊際效應(yīng)是遞減的。所以將來產(chǎn)品價格可能比現(xiàn)有的可見光會略高一些，但是并不是特別的昂貴。

幻實(shí)（主播）：在汽車方面，大家還未放棄對提高安全性而開拓應(yīng)用，那在工業(yè)市場有沒有什么具體的方向可以跟我們分享一下？

張友偉（嘉賓）：可見光及紅外線能用的地方我們都能用，所以我們其實(shí)是可以從他們的方向切進(jìn)去的。

幻實(shí)（主播）：也就是說你們要去找一個既要用可見光，又要用紅外的場景，以此實(shí)現(xiàn)高性價比。因?yàn)槟銈兘鉀Q了互聯(lián)互通時效的各種問題，所以聽起來還是一個挺有意思的角度。

那咱們團(tuán)隊(duì)是什么樣的一個背景，是全部要做硬件，還是說需要嵌入式軟件，需不需要做應(yīng)用的一些開發(fā)？

張友偉（嘉賓）：其實(shí)我們的核心團(tuán)隊(duì)以前是中科院的背景，我們在紅外這方面有很大的積累，我們開發(fā)出這樣的一個傳感器，包括后面的模組，需要的是光學(xué)和結(jié)構(gòu)、算法、軟件、電子各方面的人才，所以這是一個需要各種技術(shù)綜合的一個系統(tǒng)工程。

幻實(shí)（主播）：而且還要懂工藝，因?yàn)槟銈冏约哼€要改工藝，我覺得這個好難啊，門檻很高，因?yàn)樽龀鰜碇罂赡苄酒闹圃臁a(chǎn)線都要配合你們?nèi)プ稣{(diào)試，聽起來你們選了一條艱難的路，當(dāng)時有沒有什么顧慮？

張友偉（嘉賓）：顧慮倒是沒有，因?yàn)槲覀冎饕暮诵膱F(tuán)隊(duì)人員以前是做科研的，我們非常享受創(chuàng)造的過程，做出一些創(chuàng)新的東西是非常興奮的。

幻實(shí)（主播）：做科研與考慮商業(yè)化不一樣，商業(yè)需要我們先算算賬，可能這個東西回報(bào)周期太長，興趣就會大大減弱。那么，疊鋮光電的產(chǎn)品從技術(shù)方向來說到了哪個階段？

張友偉（嘉賓）：按照今年的計(jì)劃，我們大概5月份會推出模組型的產(chǎn)品交付客戶，之后我們會做一些量產(chǎn)化的工作。

幻實(shí)（主播）：也就是說你們現(xiàn)在是有定向開發(fā)的客戶了，這是一個很不錯的階段，您預(yù)計(jì)這款產(chǎn)品到量產(chǎn)中間可能還會遇到怎樣的挑戰(zhàn)？

張友偉（嘉賓）：首先實(shí)現(xiàn)傳感器的這種堆疊技術(shù)，在工藝上面是有一些門檻的；其次，我們后期量產(chǎn)產(chǎn)生實(shí)際數(shù)據(jù)后，需要對可見光跟紅外完全融合的多光譜數(shù)據(jù)進(jìn)行處理并形成數(shù)據(jù)庫，這樣的數(shù)據(jù)庫實(shí)際上先前是沒有的；不僅如此，基于數(shù)據(jù)庫的算法也是先前沒有的，這些方面都是巨大的挑戰(zhàn)。

幻實(shí)（主播）：也就是從無到有的一個積累期。創(chuàng)新是要靠不斷地嘗試，一點(diǎn)一點(diǎn)積累而成，但你們一旦突破了瓶頸，別人再進(jìn)入市場就沒那么容易。

張友偉（嘉賓）：沒錯，這個領(lǐng)域存在先發(fā)優(yōu)勢。

多光譜傳感器應(yīng)用于車內(nèi)的場景感受

幻實(shí)（主播）：很難想象這個產(chǎn)品在車?yán)镎嬲玫降臅r候，從我們駕駛的感受上來說會有多大的變化，你能不能給我們場景化的描述一下感受？

張友偉（嘉賓）：其實(shí)對于實(shí)現(xiàn)自動駕駛的情況來說，一方面是我們可以實(shí)現(xiàn)在各種氣候、光照條件下，都能夠很好的進(jìn)行自動駕駛識別，另一方面是用戶體驗(yàn)有所提升，用戶不需要不斷的去接管它，突發(fā)情況變得更少了。

幻實(shí)（主播）：對，因?yàn)槲覀兘?jīng)常會發(fā)現(xiàn)前面遇到一些復(fù)雜情況，這時候就需要你去接管它了。

張友偉（嘉賓）：尤其是傍晚的時候太陽西照，光照條件發(fā)生變化就需要人不斷的接管。

在夜間，可見光其實(shí)是很弱了，但是在紅外波段依舊能夠非常好的探測目標(biāo)，尤其是探測到比如人這種活動目標(biāo)，它的優(yōu)勢非常明顯。

夜間疊層合并及識別效果（圖源：疊鋮光電官網(wǎng)）

幻實(shí)（主播）：所以全天候就代表無論有光沒光，你們都有辦法來解決了。這確實(shí)是一個新的角度去解決問題，因?yàn)槲覀円话愣紩氪蠹沂遣皇嵌寂鋫淞艘曈X毫米波和雷達(dá)，但都配備了確實(shí)會出現(xiàn)您說的問題，他們之間出現(xiàn)信息矛盾怎么辦，誰更具有話語權(quán)？我現(xiàn)在想一想，其實(shí)車場在調(diào)大家的權(quán)重時也是真不容易的。

好，非常感謝您今天給我們科普了一個全新的角度，最后您有什么想借助我們的欄目平臺，有沒有什么想對外號召或者呼吁。

張友偉（嘉賓）：我們這個平臺是一個非常好的交流平臺，我們希望通過這個平臺把我們的東西介紹給更多的人，同時也能夠與行業(yè)界人士進(jìn)行更多的交流，我們相互學(xué)習(xí)，共同進(jìn)步，促進(jìn)我們整個國家智能傳感器行業(yè)的發(fā)展。

幻實(shí)（主播）：張博士很謙虛，你們的技術(shù)方向需要和客戶或者是產(chǎn)業(yè)的下游進(jìn)行一些綁定的開發(fā)，如果說我們的聽眾有做這方面，既要用到紅外又要用到可見光，但是又對他們同時產(chǎn)生的效果不滿意，歡迎大家聯(lián)系疊鋮光電，說不定會另辟蹊徑帶來更好的效果。

從整個傳感器產(chǎn)業(yè)來看，隨著以人工智能、5G通信、大數(shù)據(jù)等為代表的智能化時代到來，傳感器受到了世界各國的普遍重視。傳感器產(chǎn)業(yè)作為國民經(jīng)濟(jì)的基礎(chǔ)性、戰(zhàn)略性產(chǎn)業(yè)，對促進(jìn)工業(yè)轉(zhuǎn)型升級、發(fā)展戰(zhàn)略性新興產(chǎn)業(yè)發(fā)揮著重要作用。

汽車傳感器是一個鮮明的例子，智能汽車的快速發(fā)展正不斷催生自動駕駛傳感器的快速發(fā)展，未來智能汽車的滲透率會不斷提升。文中所提到的將高動態(tài)范圍可見光、熱紅外、SPAD傳感器集成在同一片芯片上，實(shí)現(xiàn)傳感器之間的融合一致，給自動駕駛場景注入了想象力，總體來看，理想狀態(tài)的自動駕駛模式并未走入人們的生活，智能駕駛技術(shù)仍然存在很多難題亟待突破，伴隨更多創(chuàng)新技術(shù)的導(dǎo)入，智能汽車行業(yè)勢必將迎來更具創(chuàng)造性的新場景、新應(yīng)用。

編輯：黃飛

?