作者 李安 ? ? ? ? ? ? ? ? ? ? ? ? ?

安思疆科技CEO，碩士畢業(yè)于浙江大學(xué)光電系，曾就職于華為2012實(shí)驗(yàn)室，獨(dú)立設(shè)計(jì)了3D結(jié)構(gòu)光系統(tǒng)，主導(dǎo)潛望式鏡頭光學(xué)設(shè)計(jì)，大規(guī)模應(yīng)用在華為旗艦機(jī)，多項(xiàng)核心技術(shù)專利（包括美國(guó)專利）第一發(fā)明人，發(fā)表多篇論文，精通幾何光學(xué)、衍射光學(xué)，激光，復(fù)雜光電系統(tǒng)設(shè)計(jì)，熟悉微納光學(xué)、圖像處理、3D視覺算法、光電芯片等領(lǐng)域，擁有完整的產(chǎn)品及產(chǎn)業(yè)經(jīng)驗(yàn)和深厚的理論及技術(shù)背景。安思疆也是繼蘋果之后，第2家發(fā)布消費(fèi)級(jí)面陣dToF激光雷達(dá)的公司。

2022年9月，蘋果發(fā)布了全新的iPhone 14系列手機(jī)，其中Pro和Pro Max均延續(xù)了前代配置中的后置dToF激光雷達(dá)模組，用于手機(jī)AR、3D掃描建模、輔助對(duì)焦等功能，大幅提升智能手機(jī)3D視覺體驗(yàn)。

實(shí)際上，早在2020年3月蘋果發(fā)布新款iPad Pro，其后置相機(jī)模塊中就進(jìn)行了大幅革新，首次搭載了自研的基于dToF技術(shù)的Lidar模塊( Light detection and range，激光雷達(dá))；隨后僅隔半年，在10月份發(fā)布iPhone 12系列中，也搭載了這一技術(shù)；是蘋果繼2017年發(fā)布3D結(jié)構(gòu)光后，迎來的又一重大技術(shù)里程碑，同時(shí)也是大面陣3D Lidar首次在消費(fèi)電子產(chǎn)品中的大規(guī)模應(yīng)用。

圖1.?iPhone后置激光雷達(dá)

3D傳感技術(shù)作為蘋果公司近年來重點(diǎn)布局的方向，已應(yīng)用在生物識(shí)別、拍照、游戲、建模、虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等領(lǐng)域，進(jìn)一步強(qiáng)化了其在3D視覺技術(shù)領(lǐng)域的護(hù)城河。從其技術(shù)布局的規(guī)劃來看，我們完全有理由相信，在很快到來的Apple Glass中，3D傳感器是不可或缺的。

3D傳感技術(shù)主流包括結(jié)構(gòu)光技術(shù)（Structure Light）和光飛行時(shí)間測(cè)量技術(shù)（ToF, Time of Flight）， 后者又分為間接飛行時(shí)間測(cè)量（iToF, indirect Time of Flight）和直接飛行時(shí)間測(cè)量（dToF, direct Time of Flight）。蘋果在技術(shù)路徑上最終選擇了結(jié)構(gòu)光技術(shù)和dToF技術(shù)分別應(yīng)用在前置相機(jī)和后置相機(jī)上，形成互補(bǔ)，兼顧前置和后置的各種3D視覺應(yīng)用。

3D結(jié)構(gòu)光經(jīng)過幾年的發(fā)展，大家已經(jīng)比較熟悉，除了手機(jī)，iPad之外，也已應(yīng)用在了許多地方，例如微信與支付寶的3D刷臉支付、3D人臉門鎖、各種各樣的機(jī)器人、3D 視頻和體感游戲等場(chǎng)景中。而dToF技術(shù)對(duì)于消費(fèi)電子產(chǎn)品的愛好者來講雖然是比較前沿的技術(shù)，但其實(shí)也已經(jīng)應(yīng)用好幾年了，例如：聽筒附近的接近傳感器，用來探測(cè)耳朵是否靠近以此控制屏幕亮滅；某些手機(jī)的后置相機(jī)模塊中配備的距離傳感器，用來輔助拍照對(duì)焦。雖然這些傳感器使用了dToF的原理，但都是單點(diǎn)或者少點(diǎn)的探測(cè)，只能做一些簡(jiǎn)單的功能，無法實(shí)現(xiàn)大視場(chǎng)范圍、高分辨的3D面陣成像，因而不能用來做視覺上復(fù)雜的多功能應(yīng)用。在蘋果的激光雷達(dá)發(fā)布之前，面陣的dToF技術(shù)主要應(yīng)用在車載激光雷達(dá)，目前成熟的方案采用是機(jī)械式掃描和半機(jī)械式掃描來實(shí)現(xiàn)線陣向面陣的轉(zhuǎn)化。而蘋果的激光雷達(dá)則是大面陣dToF技術(shù)第一次在消費(fèi)電子場(chǎng)景中使用，并且采用了基于可尋址VCSEL的全固態(tài)方案，真正做到了“出道即巔峰”。

秉承好技術(shù)就要用起來的理念，蘋果為這套3D Lidar系統(tǒng)也是“操碎了心”，將眾多復(fù)雜學(xué)科和前沿技術(shù)深度交叉，這也是作者從業(yè)這么長(zhǎng)時(shí)間以來，所遇到的最精密、最復(fù)雜，也是融合性最高的光電視覺傳感器，為了能讓大家能由淺及深全面了解，作者將從器件到系統(tǒng)設(shè)計(jì)進(jìn)行全方位的解析。

圖2. 3D Lidar核心器件組成及工作原理示意圖

圖3. 蘋果 3D Lidar 電路板實(shí)物圖

如圖2和圖3，蘋果3D Lidar的核心部件為VCSEL+ Collimator +DOE（組成發(fā)射端）、Imaging Lens +Narrow-band Filter +SPAD (組成接收端)、高速高功率激光驅(qū)動(dòng)電路。我們先對(duì)各個(gè)核心器件做一個(gè)基本了解。

核心器件篇 ? ? CORE COMPONENTS ? ? ? ? ?

VCSEL ?

Collimator ?

DOE ?

Imaging Lens ?

Narrow-band Filter ?

SPAD ?

高速高功率激光驅(qū)動(dòng)電路

VCSEL垂直腔面發(fā)射激光器 Vertical-Cavity Surface-Emitting Laser 激光是愛因斯坦在研究粒子的受激輻射時(shí)演變而來的技術(shù)，是使光波在含有增益介質(zhì)的光學(xué)腔（諧振腔）里產(chǎn)生穩(wěn)定的駐波震蕩，以此實(shí)現(xiàn)光能量放大。第1臺(tái)激光器由美國(guó)科學(xué)家在1960年利用紅寶石制成，激光的中文名是由錢學(xué)森先生翻譯的。我們可以按光束出射的方式，將激光分為2種類型，即EEL（Edge-Emitting Laser 邊發(fā)射激光）和VCSEL（Vertical-Cavity Surface-Emitting Laser 垂直腔面發(fā)射激光），如圖4。 制作激光器的材料可以是固體、氣體、染料和半導(dǎo)體。目前用于消費(fèi)電子和汽車電子等領(lǐng)域的主要是半導(dǎo)體激光器和光纖激光器（屬于固體激光器），也開始在車載有應(yīng)用，不過本文討論的是半導(dǎo)體激光器范疇。 那么，EEL和VCSEL的區(qū)別是什么？顧名思義，EEL的光束是從器件的側(cè)邊發(fā)射出來，由于激光芯片可以在水平方向做得比較長(zhǎng)，因此激光可以獲得充分的能量增益，功率可以做得很大，目前絕大部分激光器都是EEL。VCSEL則是垂直于激光芯片表面（即厚度方向）發(fā)光。

圖4. 左：邊發(fā)射激光，光從芯片側(cè)邊發(fā)出；中：VCSEL，光從芯片表面發(fā)出；右：LED，光從各個(gè)方向發(fā)出.

眾所周知，芯片的厚度一般都非常薄，因此激光獲得的能量增益有限，VCSEL中的增益腔長(zhǎng)一般只有納米、微米量級(jí)，跟EEL差幾個(gè)數(shù)量級(jí)，因此VCSEL的功率很難做大。不過，可以實(shí)現(xiàn)級(jí)聯(lián)放大的多結(jié)VCSEL也已經(jīng)開始成熟應(yīng)用，但目前還與EEL有較大差距。VCSEL是在1979年，也就是激光發(fā)明近20年后，才由日本科學(xué)家發(fā)明，其難點(diǎn)之一就是增益腔太短，導(dǎo)致?lián)p耗大于增益，很難穩(wěn)定發(fā)光；經(jīng)過不斷的改善，直到上世紀(jì)90年代才開始在通信領(lǐng)域上逐漸應(yīng)用。雖然存在這些缺點(diǎn)，但是VCSEL同樣有EEL無法比擬的幾大優(yōu)勢(shì)：

1 ? 多點(diǎn)陣&緊湊封裝

VCSEL可以很輕松做到將幾十甚至上千個(gè)激光發(fā)射單元集成在小于數(shù)平方毫米的面積上，相鄰的兩個(gè)激光器單元之間的間隔甚至可短至~10um，這是EEL幾乎不可能做到的，因此也非常便于封裝集成，可以完全復(fù)用目前攝像頭的COB（Chip on Board）工藝，對(duì)比之下EEL的封裝則稍顯笨拙。

2 ? 圖案化&分區(qū)照明

VCSEL還可以將眾多激光點(diǎn)源按特殊設(shè)計(jì)排布，形成任意的圖案，例如iPhone前置3D結(jié)構(gòu)光中使用的偽隨機(jī)散斑編碼VCSEL，如果同時(shí)采用特殊的制程，可以將這些激光點(diǎn)陣按組別進(jìn)行物理隔離，分時(shí)、分區(qū)點(diǎn)亮，進(jìn)而可以進(jìn)行更精細(xì)更復(fù)雜的設(shè)計(jì)，提升系統(tǒng)性能，這也是EEL無法獨(dú)立實(shí)現(xiàn)的。

3 ? 規(guī)模化量產(chǎn)&成本

由于是垂直晶圓表面發(fā)光，VCSEL在工藝制程上有巨大的優(yōu)勢(shì)，在晶圓制作完成之后，可以直接利用探針技術(shù)進(jìn)行在線的晶圓級(jí)測(cè)試。而EEL則不行，因?yàn)檫叞l(fā)射的激光一般需要在諧振腔的兩側(cè)，也即晶圓的水平方向進(jìn)行解理鍍反射膜，才能形成激光諧振腔，因此切割后還要繼續(xù)進(jìn)行加工和測(cè)試，這就大大降低了生產(chǎn)效率，增加很多成本。對(duì)于工業(yè)、車載等領(lǐng)域，尚可接受，但對(duì)于手機(jī)等量級(jí)的消費(fèi)電子領(lǐng)域顯然是無法接受的。

4 ? 發(fā)散角圓對(duì)稱

由于VCSEL束縛電流的孔徑形狀一般是圓形或接近圓形，所以其發(fā)散角在各個(gè)方向都相等，是圓對(duì)稱的，因此光斑也是圓形，有利于后續(xù)光學(xué)整形系統(tǒng)的設(shè)計(jì)。EEL的孔徑一般是橫縱比較大的矩形，所以EEL的發(fā)散角是橢圓狀，而且水平和垂直的發(fā)散角相差比較大，光斑是一個(gè)比較扁的橢圓形，這對(duì)后續(xù)的光束整形是比較不友好的。

綜上，在消費(fèi)電子領(lǐng)域，對(duì)激光功率、光束質(zhì)量以及可靠性等要求相對(duì)較低，這就在很大程度上屏蔽了VCSEL的弱點(diǎn)，而其優(yōu)勢(shì)則完全發(fā)揮。因此，消費(fèi)電子過去、現(xiàn)在和未來的趨勢(shì)也必然是以VCSEL這種垂直表面發(fā)光形式的器件為主，這也是為什么蘋果對(duì)此進(jìn)行了大規(guī)模的投資。未來HCSEL水平腔表面發(fā)射激光（Horizontal V-Cavity Surface-Emitting Laser）也將逐步應(yīng)用起來，這是一種結(jié)合了EEL和VCSEL優(yōu)點(diǎn)的激光器，在此不展開詳述。總之，在消費(fèi)電子領(lǐng)域采用表面發(fā)射形式的激光擁有巨大優(yōu)勢(shì)。

準(zhǔn)直鏡頭&接收鏡頭 Collimator & Imaging Lens

這兩個(gè)器件是成像光學(xué)鏡頭，屬于比較傳統(tǒng)的幾何光學(xué)領(lǐng)域，只不過前者用于投影，后者用于攝影。? Collimator，業(yè)界一般稱為準(zhǔn)直鏡頭，在蘋果的結(jié)構(gòu)光和dToF Lidar上都有應(yīng)用，但其實(shí)除蘋果之外，一般的ToF技術(shù)都不使用準(zhǔn)直鏡，原因在后面會(huì)講到。準(zhǔn)直鏡頭由多個(gè)光學(xué)鏡片組合而成，用來將激光光源投射到場(chǎng)景中。本質(zhì)上作用有二，其一是將激光的發(fā)散角整形至接近0度，其二是將僅約1mm2、由多個(gè)激光點(diǎn)陣形成的微小圖案投射出去并放大，放大倍率通常在數(shù)百倍至數(shù)千倍。這也是為什么1mm2大小的VCSEL所投射出來的點(diǎn)陣卻能最終覆蓋前方大視場(chǎng)范圍場(chǎng)景的原因之一，原因之二則是后面要講的DOE所起的作用。?? Imaging Lens，業(yè)界一般稱為接收鏡頭，是所有2D、3D視覺中必不可少的器件，包括單反相機(jī)、手機(jī)相機(jī)、安防監(jiān)控、工業(yè)檢測(cè)、機(jī)器視覺等。在dToF Lidar的系統(tǒng)應(yīng)用中，與Collimator一樣，一般也是由多個(gè)光學(xué)鏡片組成，其作用是成像接收TX端所投射出來的放大散斑，并在焦面上重新縮小至數(shù)平方毫米，以便微小尺寸的光電傳感器接收。

評(píng)價(jià)光學(xué)成像鏡頭的性能指標(biāo)叫像差，包含了畸變、色差、場(chǎng)曲、球差以及比較綜合的評(píng)價(jià)參數(shù)MTF等。像差的意思是成像的差別，也即實(shí)際的成像與完美成像的差別，因此通常用于攝影的光學(xué)鏡頭肯定是要求各種像差，例如畸變，越小越好，越接近于0越好；但是，蘋果卻反其道而行之，故意把Imaging Lens的畸變?cè)O(shè)計(jì)得特別大，這非常獨(dú)特，幾乎沒有先例，這一點(diǎn)我們將在后面系統(tǒng)篇中進(jìn)行解析。

DOE 衍射光學(xué)元件 Diffraction Optical Element

DOE衍射光學(xué)元件，屬于物理光學(xué)范疇，我們都知道光具有波粒二象性，光電效應(yīng)證明其粒子的特性，光的衍射現(xiàn)象則證明了其波動(dòng)的特性，其實(shí)二者本質(zhì)上也是自洽的。一般來講，在幾何成像光學(xué)領(lǐng)域用的是光線光學(xué)的理論，即偏粒子性，而在光的衍射干涉等領(lǐng)域則采用波動(dòng)光學(xué)理論，即偏波動(dòng)性。實(shí)際上，波動(dòng)光學(xué)的理論可以完全適用于幾何成像光學(xué)，只是這樣會(huì)讓問題解析變得更繁瑣復(fù)雜，所以才不這樣用。那么，我們通常所說的幾何光學(xué)、衍射光學(xué)以及最近比較熱門的超表面光學(xué)（Meta Surface）的區(qū)別是什么呢？ 讓我們來做一個(gè)更本質(zhì)的區(qū)分，假設(shè)光波的波長(zhǎng)為λ（可見光波長(zhǎng)為380nm~760nm），器件的特征尺寸（feature size 可以理解為最小結(jié)構(gòu)）為d, 一般來講可以這樣分 d<0.1λ~λ，這時(shí)特征尺寸已經(jīng)非常小，不僅衍射現(xiàn)象很明顯，對(duì)光波的電磁特性也會(huì)產(chǎn)生不可忽略的影響，這時(shí)候光的偏振等特性必須要納入考慮的范圍，但正因?yàn)閷?duì)偏振有影響，所以可在極短的光程中對(duì)光波進(jìn)行非常精細(xì)的操控，超表面光學(xué)（Meta Surface）就屬于這一范疇，要用嚴(yán)格耦合波理論才能精確描述。

圖5.?(a)安思疆自研的DOE設(shè)計(jì)軟件GratingMaster (b)DOE的GDS加工設(shè)計(jì)文件 (c)安思疆自研的DOE實(shí)物圖 (d)掃描電子顯微鏡下的微納結(jié)構(gòu) (e)蘋果激光雷達(dá)的DOE顯微鏡圖像

λ10λ，此時(shí)衍射現(xiàn)象已經(jīng)不明顯，也即光的波動(dòng)特性不明顯，而粒子特性占了主導(dǎo)，則可以把光束看成光線的組合，利用幾何光學(xué)理論即可描述。一般ToF中使用的勻光片（diffuser），LED照明用的勻光板以及上述的Collimator、Imaging Lens都屬于這一范疇。從理論復(fù)雜度上來比較，嚴(yán)格耦合波理論>傅里葉光學(xué)>幾何光學(xué)，雖然復(fù)雜程度不一樣，但綜合難度是差不多的，無論哪個(gè)領(lǐng)域想要精通都必須付出同樣的努力。

回到DOE，經(jīng)過上述的了解，我們對(duì)DOE有了基本認(rèn)識(shí)。DOE在蘋果的3D結(jié)構(gòu)光和3D Lidar中都有使用，其功能是比較容易理解的，本質(zhì)上是把一束光分裂成若干份，再通俗一點(diǎn)講就是把一束光復(fù)制多份，起到復(fù)制的作用。因此DOE可以把上述Collimator放大的散斑圖案進(jìn)行復(fù)制，相當(dāng)于對(duì)散斑的投射范圍進(jìn)行了二次放大，蘋果的3D結(jié)構(gòu)光視野范圍~90°，因此即使被攝人臉的位置偏離較大時(shí)也能同樣解鎖。蘋果的3D Lidar視野范圍也達(dá)到了~70°。角度越大，系統(tǒng)設(shè)計(jì)和DOE設(shè)計(jì)難度都急劇增大，不過目前已經(jīng)有超過100°的超廣角3D結(jié)構(gòu)光產(chǎn)品，例如安思疆的Nuwa系列產(chǎn)品已經(jīng)可以達(dá)到110°。

窄帶濾光片 Narrow-band Filter

該器件屬于薄膜光學(xué)領(lǐng)域，是比較傳統(tǒng)的領(lǐng)域。3D Lidar中使用的是940nm近紅外VCSEL激光器，窄帶濾光片的作用是濾除掉940nm之外的環(huán)境光，最大程度減少干擾，大大提高信噪比，但因?yàn)橹圃旃に嚨脑驎?huì)比普通的截止濾光片貴不少。這一器件相對(duì)常見就不再展開討論。

SPAD 單光子雪崩二極管 Single Photon Avalanche Diode

前述的VCSEL屬于光源器件，是將電能轉(zhuǎn)化為光能；光學(xué)鏡頭、DOE和濾光片則屬于無源被動(dòng)器件，即不用消耗電能；現(xiàn)在要講的SPAD芯片則是將光能轉(zhuǎn)化為電能，并且還能通過模擬-數(shù)字轉(zhuǎn)換，將探測(cè)到的光信號(hào)最終轉(zhuǎn)換成數(shù)字形式向外輸出，是一顆集成了光電探測(cè)模塊、模擬電路模塊、數(shù)字電路模塊的高度集成化的芯片，是相對(duì)比較新興的領(lǐng)域，而且蘋果還把它做成了大面陣的陣列，這也是陣列SPAD第一次在消費(fèi)電子領(lǐng)域應(yīng)用。乘著蘋果的東風(fēng)，第一次出場(chǎng)就是上億數(shù)量級(jí)的超大規(guī)模量產(chǎn)，這與幾年前VCSEL和DOE的消費(fèi)級(jí)大規(guī)模應(yīng)用幾乎如出一轍，蘋果也將SPAD sensor訂單交與了最親密的合作伙伴——日本索尼公司。 采用定制化工藝制造的固態(tài)SPAD盡管已經(jīng)發(fā)明了幾十年，但是之前一直存在兩個(gè)問題: 一是器件體積大，價(jià)格昂貴; 二是器件與集成電路難以兼容。近幾年來，基于CMOS工藝的SPAD陣列的成功設(shè)計(jì)和制造很好地解決了這兩方面的問題，從遠(yuǎn)紅外到深紫外頻段SPAD都能實(shí)現(xiàn)單光子級(jí)別的探測(cè)靈敏度，與光電倍增管、APD等相比較，其具有更高的量子效率、更小的尺寸、更低的擊穿電壓，能識(shí)別單光子，可數(shù)字化成像，抗環(huán)境光干擾等特點(diǎn)，其最大的優(yōu)勢(shì)在于能夠?qū)崿F(xiàn)遠(yuǎn)距離測(cè)距，且具備較高精準(zhǔn)度，因此在激光雷達(dá)、核醫(yī)學(xué)設(shè)備、生物診斷、高能物理、射線探測(cè)、分析儀器等多個(gè)領(lǐng)域已有廣泛應(yīng)用。 ?

圖6. SPAD工作原理

如圖6所示，SPAD是一種基于內(nèi)光電效應(yīng)的光電探測(cè)器件，當(dāng)在PN結(jié)兩端施加足夠的反向偏置電壓時(shí)，光子被中性層吸收后將所攜帶的能量傳遞給價(jià)帶上的電子使其躍遷至導(dǎo)帶，從而產(chǎn)生光生載流子，在內(nèi)部電勢(shì)的作用下向雪崩倍增區(qū)漂移，當(dāng)雪崩倍增區(qū)的內(nèi)建電場(chǎng)大于碰撞電離所需的最小電場(chǎng)強(qiáng)度時(shí)，光生載流子獲得更高的能量后被加速，與雪崩倍增區(qū)的晶格原子發(fā)生多次碰撞產(chǎn)生更多的電子-空穴對(duì)。這種雪崩倍增效應(yīng)使器件內(nèi)部的電子-空穴對(duì)呈現(xiàn)指數(shù)倍的增長(zhǎng)，從而產(chǎn)生極高的光生電流。

圖7. 典型的SPAD sensor架構(gòu) 圖7展示了典型的SPAD sensor架構(gòu)，可以看出是這是一種非常綜合型的芯片，包含SPAD光電二極管、模擬電路、模數(shù)混合電路、數(shù)字電路等。

圖8. 左右分別為典型的共陰極（Common Cathode）FSI和共陽極（Common Anode）BSI像素結(jié)構(gòu) 如圖8，與傳統(tǒng)圖像傳感器類似，從制造工藝來分，SPAD sensor可以分為FSI（前照式）和BSI（背照式）兩種類型。這兩種結(jié)構(gòu)在制造上的差異要遠(yuǎn)大于傳統(tǒng)圖像傳感器，原因就在于每個(gè)像素都需要與TDC相連接，導(dǎo)致采用BSI的工藝會(huì)大大增加復(fù)雜度。

圖9. 蘋果采用BSI工藝的SPAD sensor實(shí)物圖和像素剖面圖 如圖9，蘋果采用的是BSI工藝，將SPAD層與邏輯電路層通過一種先進(jìn)的低溫銅-銅鍵合工藝連接起來，這樣可以把邏輯電路完全掩藏在底部，從而使SPAD的受光面積達(dá)到接近100%，最大限度的提升感光效率，蘋果在其專利中對(duì)此進(jìn)行了詳述。 高速高功率激光驅(qū)動(dòng)電路 High Speed & High Power Laser Driver Circuit

圖10. iPhone激光雷達(dá)的驅(qū)動(dòng)芯片和光脈沖,每秒發(fā)射約2400萬個(gè)光脈沖

dToF的測(cè)量原理中要用到超短脈沖激光，因此也對(duì)激光的驅(qū)動(dòng)電路提出了要求：1.脈沖寬度~1ns；2.瞬時(shí)電流在某些應(yīng)用中最高要達(dá)到~20A。單看脈沖寬度，這不能算是很高的要求，但是要同時(shí)滿足大電流就變得非常困難，由于大部分驅(qū)動(dòng)芯片還是硅基形式，無法承載這么大的高速電流，因此不僅在消費(fèi)電子領(lǐng)域幾乎沒有過類似的需求，即使在車載領(lǐng)域也很難找到一顆集成的驅(qū)動(dòng)芯片來同時(shí)滿足這兩個(gè)要求。目前主要的解決方式是：短脈沖驅(qū)動(dòng)芯片+GaN開關(guān)，未來將這二者集成在一起是趨勢(shì)。無論如何，為了產(chǎn)生超短+高功率的激光脈沖，并且保持脈沖不變形，對(duì)激光器以及其驅(qū)動(dòng)電路都提出了極高的要求。

系統(tǒng)篇

? SYSTEM ? ?

? ? ? ? 前面我們對(duì)蘋果Lidar中使用的各種器件做了逐一介紹，從中我們可以看到這些器件之間幾乎沒有相通之處，每一個(gè)器件都是一個(gè)獨(dú)立的領(lǐng)域，集結(jié)了幾何光學(xué)、衍射光學(xué)、光電子學(xué)、激光、半導(dǎo)體物理、模擬電路、數(shù)字電路等領(lǐng)域最前沿的技術(shù)，而且對(duì)于最終的產(chǎn)品系統(tǒng)來講，這還只包含了一半的東西，剩下一半是算法軟件。

3D視覺和2D視覺的一大區(qū)別就是3D視覺的軟硬件具有非常強(qiáng)的耦合性，這會(huì)在下面講到。 如此多前沿學(xué)科的交叉必然使得系統(tǒng)設(shè)計(jì)異常復(fù)雜，但是學(xué)科交叉又是最容易產(chǎn)生創(chuàng)新的地方，那么這么多的交叉會(huì)產(chǎn)生怎樣的效果呢？接下來我們一起看看蘋果到底是如何設(shè)計(jì)這套Lidar系統(tǒng)，根據(jù)公開專利顯示在2014年左右，也就是蘋果花了將近4億美金收購PrimeSense（3D結(jié)構(gòu)光公司）之后，就開始同步研究這一技術(shù)了。

我們首先從應(yīng)用場(chǎng)景出發(fā)對(duì)產(chǎn)品規(guī)格提出需求，主要針對(duì)手機(jī)和Pad用戶。因?yàn)槭窃诤笾媚K，需要做3D建模、SLAM、AR渲染等應(yīng)用，所以距離不能太近，但人是習(xí)慣于握著設(shè)備移動(dòng)掃描的，使用距離肯定也不用像車載那么遠(yuǎn)，那么5米就是一個(gè)適中的范圍；對(duì)于分辨率和視場(chǎng)角，Lidar的應(yīng)用不需要像結(jié)構(gòu)光一樣多達(dá)數(shù)百萬的分辨率，也不需要用來做Face ID等高精度應(yīng)用，而是用于平面檢測(cè)、空間定位、物體測(cè)量、虛擬場(chǎng)景和現(xiàn)實(shí)場(chǎng)景的1:1融合等等；結(jié)合對(duì)后續(xù)算法的綜合平衡，起碼要達(dá)到HQVGA分辨率，而視場(chǎng)角則與后置主攝像頭匹配，可以略小一點(diǎn)；對(duì)于體積尺寸，毫無疑問，手機(jī)上最大的限制就是空間，可謂寸土寸金，而Lidar包含接收和發(fā)射兩個(gè)模塊，如何能夠做得比一個(gè)普通的攝像頭更小，而且還要小很多，這是極具挑戰(zhàn)的，但這也是必須要滿足的；對(duì)于功耗，Lidar使用起來時(shí)會(huì)持續(xù)工作，因此必須在300mw~500mw范圍上下不能太大；對(duì)于使用環(huán)境，必須適用室內(nèi)、室外、強(qiáng)光和弱光，全場(chǎng)景下都有同樣的性能，這樣才能讓普通用戶感受不到差別，但這其實(shí)是很困難的一項(xiàng)要求，一般來說在其他應(yīng)用領(lǐng)域可以做取舍但對(duì)于手機(jī)用戶而言是斷然不行的；對(duì)于成本，當(dāng)然是越低越好，考慮到是革命性產(chǎn)品，可以接受一定的溢價(jià)，從拆解情況來估算，蘋果的Lidar物料成本大概在$10~$12之間，是完全可接受的。歸納如下：

使用距離：~5m

分辨率, 視場(chǎng)角：~HQVGA；~70° ?

尺寸：不能大于普通2D攝像頭，越小越好

功耗：300mw~500mw, 越小越好

使用場(chǎng)景：全光照?qǐng)鼍埃?4小時(shí)全天候

成本：$10~$12

需要注意是，以上需求必須同時(shí)滿足。

圖11. dToF測(cè)量原理 在設(shè)計(jì)解決方案之前，我們先了解一下系統(tǒng)工作的基本邏輯和原理。典型的dToF系統(tǒng)的測(cè)量原理是：以單次測(cè)量周期為例，如圖11，SPAD芯片內(nèi)部的控制電路會(huì)發(fā)出“開始”信號(hào)，這一信號(hào)一方面會(huì)讓內(nèi)部的TDC計(jì)時(shí)器開始計(jì)時(shí)，另一方面會(huì)傳送出去給到外部的激光驅(qū)動(dòng)芯片作為同步觸發(fā)信號(hào)，驅(qū)動(dòng)芯片接收到觸發(fā)信號(hào)后，會(huì)產(chǎn)生一個(gè)~1ns的超窄脈沖電流，觸發(fā)脈沖信號(hào)和輸出脈沖電流之間由于經(jīng)過了Driver IC會(huì)有時(shí)延，這種時(shí)延一般是ns級(jí)，所以一般在其他的應(yīng)用中都不太需要考慮，但在dToF測(cè)量系統(tǒng)中是不行的，這一時(shí)延需要在模組生產(chǎn)的過程中進(jìn)行測(cè)量并且補(bǔ)償，而且它還與溫度相關(guān)，這會(huì)使得精準(zhǔn)補(bǔ)償?shù)碾y度增加，在此不展開討論。

VCSEL接收到電流脈沖之后開始發(fā)光（這里也會(huì)有時(shí)延產(chǎn)生，需要補(bǔ)償），光束由準(zhǔn)直鏡放大準(zhǔn)直后投射到DOE上，DOE經(jīng)過復(fù)制擴(kuò)散形成更大的投射范圍，再經(jīng)過場(chǎng)景中的物體反射回接收鏡頭，經(jīng)過接收鏡頭的縮小成像后照射在SPAD陣列上, 雪崩二極管接收到光脈沖后會(huì)產(chǎn)生雪崩電流，致使TDC的計(jì)時(shí)中斷，從而得到一次飛行時(shí)間t1，同時(shí)淬滅復(fù)位電路會(huì)將測(cè)量電路快速復(fù)位，等待下一個(gè)測(cè)量周期的光脈沖到來，這樣經(jīng)過多次重復(fù)該過程就算是一次完整的測(cè)量。假設(shè)測(cè)量N次，其中n次有效(n

根據(jù)以上原理，在不同領(lǐng)域正在量產(chǎn)和即將量產(chǎn)的Lidar解決方案主要分為：旋轉(zhuǎn)式掃描方案、以MEMS Mirror(微振鏡)為代表的半固態(tài)掃描方案、以面陣Flash照明為代表的全固態(tài)方案這3種形式。但是蘋果的方案卻異常獨(dú)特，為了滿足上述所有系統(tǒng)規(guī)格要求，蘋果采用了一種基于可尋址VCSEL點(diǎn)陣掃描的全固態(tài)方案，如圖12所示，我們可以把它稱之為Spot dToF。

圖12. 蘋果激光雷達(dá)使用的VCSEL，總共64點(diǎn)。其中紅、黃、藍(lán)、紫每4行為同一組，這4組點(diǎn)陣是并聯(lián)關(guān)系，分時(shí)點(diǎn)亮，配合光學(xué)系統(tǒng)投射出激光散斑，達(dá)到掃描目的，如右圖所示。圖中黃色虛線框之外的點(diǎn)陣是由DOE的高階衍射造成的，不影響效果。 與一般的均勻分布的面陣Flash照明不同，蘋果這種方案采用了與3D結(jié)構(gòu)光類似的點(diǎn)陣激光，但不同于結(jié)構(gòu)光超過3萬個(gè)激光點(diǎn)陣，Spot dToF僅僅只有576個(gè)激光點(diǎn)陣，相差50倍，不過其單點(diǎn)功率要遠(yuǎn)高于結(jié)構(gòu)光。之所以采用點(diǎn)陣是因?yàn)樵谙嗤姽β氏拢涑錾涞墓饽芰棵芏纫h(yuǎn)遠(yuǎn)高于面陣方案，按照估算，差別甚至可以達(dá)到15~30倍，這樣可以解決兩個(gè)非常棘手的大難題：

? 1 在戶外使用時(shí)陽光干擾的問題，光功率密度的大幅度提升能夠使得即使在陽光干擾的狀態(tài)下，仍然可以保持足夠的信噪比，所以大家會(huì)看到蘋果的Lidar即使在盛夏最強(qiáng)的陽光下效果依然不下降。 2 由于點(diǎn)數(shù)少，光功率密度大，因此VCSEL不需要很大的瞬時(shí)電流，也就不需要引入大功率器件，極大地緩解了手機(jī)硬件電路的設(shè)計(jì)壓力，可以完全與當(dāng)前的設(shè)計(jì)兼容。 采用這種點(diǎn)陣方案不僅能夠維持戶外使用的效果，而且由于能量集中，其抗干擾能力也會(huì)得到極大的加強(qiáng)。總而言之，在手機(jī)這種限制極多的情況下，Spot dToF是手機(jī)后置3D視覺的最優(yōu)解。 不過，在獲得最佳效果的同時(shí)，同樣也帶來了兩大挑戰(zhàn)：??

1 這種全固態(tài)的點(diǎn)陣掃描對(duì)光學(xué)系統(tǒng)設(shè)計(jì)提出了極高的要求；

2 由于只有576個(gè)點(diǎn)（24*24），獲得的有效分辨率太低，與系統(tǒng)規(guī)格中要求的HQVGA差了70倍~80倍。

如果能克服這兩大問題，那么就不會(huì)再存在技術(shù)瓶頸了，這兩個(gè)問題正是蘋果dToF Lidar真正的核心所在。

我們先來看怎么解決第一個(gè)問題。前述的SPAD芯片中的TDC計(jì)時(shí)器是一種非常消耗硬件資源的模塊，如果要一次全部同時(shí)曝光則需要576個(gè)TDC，這樣會(huì)大大增加芯片面積，進(jìn)而增加芯片成本、模組體積和功耗。因此可以采用144個(gè)TDC進(jìn)行時(shí)分復(fù)用，每次只采集144個(gè)激光點(diǎn)陣的飛行時(shí)間，分4次采集，這樣就可以減少TDC數(shù)量，降低成本、體積和功耗，并且由于dToF的單次測(cè)量時(shí)間是ns級(jí)的，所以不用擔(dān)心由于時(shí)分復(fù)用導(dǎo)致最終系統(tǒng)幀率不足。同時(shí)，為了完美配合TDC的工作，實(shí)現(xiàn)能量零浪費(fèi)，VCSEL上的激光點(diǎn)也被相應(yīng)地分成了獨(dú)立的4組，我們可以稱之為“可尋址陣列”，每組16個(gè)點(diǎn)，經(jīng)過DOE復(fù)制變成144個(gè)點(diǎn)，對(duì)應(yīng)144個(gè)TDC。

如此，雖然VCSEL有64個(gè)點(diǎn)，但實(shí)際上同一時(shí)間工作的只有16個(gè)點(diǎn)，那么VCSEL的驅(qū)動(dòng)電流只需要能夠同時(shí)點(diǎn)亮16個(gè)點(diǎn)即可，大大減輕了Driver IC的負(fù)擔(dān)，按估算只需要~2A電流即可，這樣用一般的硅基芯片就能實(shí)現(xiàn)。由于這4組點(diǎn)陣是完全獨(dú)立的，因此Driver IC也要有4路獨(dú)立的驅(qū)動(dòng)，不過對(duì)于Driver IC來說，除了增加一些設(shè)計(jì)難度，硬件上的資源增加是完全可控的。根據(jù)拆解情況，是德州儀器TI為蘋果定制了這顆比較獨(dú)特的Driver IC，并且其中應(yīng)該還集成了用于檢測(cè)ITO電路狀態(tài)的功能。ITO是一種透明的導(dǎo)電玻璃，嵌入在DOE里用于實(shí)時(shí)監(jiān)測(cè)DOE的狀態(tài)是否正常，DOE的狀態(tài)正常與否會(huì)影響出射激光的功率密度，引發(fā)人眼安全問題。 上面我們講到TDC時(shí)分復(fù)用，并且每個(gè)TDC同時(shí)只對(duì)應(yīng)測(cè)量一個(gè)激光點(diǎn)斑，這是比較好理解的。

那么問題在于用來接收的sensor是一個(gè)像素陣列，每一個(gè)像素都是一個(gè)獨(dú)立的SPAD，分辨率大概是200*150=30000，我們知道TDC是要與SPAD連接在一起工作的，那么144個(gè)TDC如何能與30000個(gè)TDC相連接呢，就算時(shí)分復(fù)用的話，那么每個(gè)TDC要與3000/144≈200個(gè)SPAD連接，然后分時(shí)工作200次，這顯然與上述的分4次工作相去甚遠(yuǎn)。

圖13. 超像素結(jié)構(gòu)示意圖

我們?cè)谶@里引入蘋果稱之為超像素（Super pixel）的概念，如圖13，其實(shí)就是把m*n個(gè)單元像素通過類似在CIS中常用的Binning方式來合并，變成1個(gè)像素，這個(gè)像素就稱為超像素，而TDC連接的就是這個(gè)超像素。每個(gè)超像素就是一個(gè)小區(qū)域，其中包含了數(shù)十個(gè)單元像素，在這個(gè)超像素工作的時(shí)候，對(duì)應(yīng)的激光斑點(diǎn)就落在這個(gè)超像素內(nèi)，從而進(jìn)行感光測(cè)量。知道這個(gè)概念之后，既然有576個(gè)點(diǎn)，那就應(yīng)該對(duì)應(yīng)有576個(gè)超像素，每個(gè)超像素由約50個(gè)SPAD單元像素組成。這576個(gè)超像素也分成4組，又因?yàn)橹挥?44個(gè)TDC，所以每個(gè)TDC連接4個(gè)超像素，然后分時(shí)復(fù)用，144*4=576，這樣就與前述問題符合了。

圖14. Spot dToF 成像鏡頭的畸變要遠(yuǎn)大于傳統(tǒng)鏡頭以補(bǔ)償DOE的投影光學(xué)畸變

圖15. (a)實(shí)拍iPhone激光雷達(dá)散斑 (b)安思疆自研SimuLight 2.0仿真引擎設(shè)計(jì)結(jié)果 (c)SimuLight 2.0仿真引擎光學(xué)畸變校正后的結(jié)果，其中第1、5、9、……、41、45行1組，第2、6、……、42、46行1組，第3、7、……、43、47行1組，第4、8、……、44、48行1組，四組分時(shí)點(diǎn)亮形成掃描。

以上討論了SPAD芯片是如何配合測(cè)量系統(tǒng)工作的，總結(jié)一下就是144個(gè)TDC能同時(shí)對(duì)應(yīng)144個(gè)超像素，144個(gè)超像素對(duì)應(yīng)144個(gè)激光散斑，分4次掃描，就可以得到144*4=576個(gè)激光散斑對(duì)應(yīng)的距離。那么問題又來了，由于同一時(shí)間只會(huì)有144個(gè)超像素在工作，剩余的432個(gè)超像素是不工作的，如果這時(shí)候激光散斑沒有落入正在工作的超像素上，那就無法測(cè)量，因此必須要為此設(shè)計(jì)一套精密的光學(xué)投影及成像系統(tǒng)，保證VCSEL發(fā)射的激光散斑能準(zhǔn)確的落入正在工作中的超像素內(nèi)。

蘋果采用了與結(jié)構(gòu)光類似的發(fā)射和接收方案設(shè)計(jì)，在發(fā)射端采用了可尋址的VCSEL，分成4組，每組16個(gè)激光點(diǎn)會(huì)同時(shí)亮，然后通過Collimator準(zhǔn)直和放大，接著經(jīng)過DOE 3x3復(fù)制再擴(kuò)大后，投射出144個(gè)激光散斑，經(jīng)過場(chǎng)景的反射之后由接收端的imaging lens精準(zhǔn)地成像在對(duì)應(yīng)的超像素之內(nèi)，以便完成測(cè)量。但此處有個(gè)非常棘手的問題，DOE的衍射由于滿足的是正弦方程，當(dāng)投影角度變大時(shí)會(huì)導(dǎo)致散斑發(fā)生顯著畸變，這在3D結(jié)構(gòu)光中是允許存在的，可以通過算法校正，但是在spot dToF Lidar中是不可行的，因?yàn)閟ensor上超像素的排列必須是規(guī)則的，如果散斑的排布發(fā)生畸變，則會(huì)導(dǎo)致視野邊緣的散斑落入非工作的超像素內(nèi)，進(jìn)而測(cè)量無效，這是絕對(duì)不允許的。

為了解決DOE帶來的光學(xué)畸變問題，蘋果將imaging lens的光學(xué)畸變也設(shè)計(jì)得非常大，如圖14和15所示，做了很大的反畸變來補(bǔ)償DOE的正畸變以達(dá)到校正畸變的目的，并且由于引入如此大的光學(xué)畸變，還必須要在后處理的算法中對(duì)得到的三維點(diǎn)云再次進(jìn)行校正以消除imaging lens的畸變。這一設(shè)計(jì)是非常罕見的做法，因?yàn)榻档筒⑾鈱W(xué)畸變是幾乎所有成像鏡頭設(shè)計(jì)的基本追求，但在蘋果的lidar系統(tǒng)中不這樣做又不行，實(shí)際上這種“反其道而行之”的設(shè)計(jì)是該光學(xué)系統(tǒng)中最難設(shè)計(jì)的一部分。這樣的復(fù)雜系統(tǒng)也導(dǎo)致了各器件之間的耦合度到達(dá)了前所未有的程度，任何一個(gè)器件的某一參數(shù)改變，都會(huì)帶來其他器件的隨之更改，否則將會(huì)直接導(dǎo)致整個(gè)系統(tǒng)不工作。

在系統(tǒng)設(shè)計(jì)上還剩下最后一個(gè)關(guān)于超像素的問題，實(shí)際是兩個(gè)，一方面由于發(fā)射和接收采用的是非同軸設(shè)計(jì)，會(huì)產(chǎn)生視差，因此必須要綜合考慮使用距離、模組尺寸、單元像素大小、組裝誤差等眾多因素，才能最終確定超像素的子單元像素的數(shù)量，在蘋果方案中此數(shù)量大概是50個(gè)。另一方面，散斑在SPAD陣列上成像的大小一般只占據(jù)超像素其中的幾個(gè)單元像素，例如9個(gè)，但如果把整個(gè)超像素的探測(cè)深度都定義為同一個(gè)深度的話，就會(huì)大大降低其空間的橫向分辨率，即XY方向的分辨率（假設(shè)深度是Z方向）。

舉個(gè)簡(jiǎn)單例子，這可能會(huì)導(dǎo)致最終完全分辨不清手指和整個(gè)手，如此低的分辨率是不能接受的，為了解決這一問題，蘋果在每個(gè)超像素中還劃分了更細(xì)的像素組合，我們可以把它叫做超細(xì)像素，這些超細(xì)像素會(huì)在測(cè)量周期的前段進(jìn)行掃描，從而準(zhǔn)確定位散斑在超像素中的位置，接著再進(jìn)行全面的測(cè)量。這一過程也是十分復(fù)雜的，又大大增加了SPAD陣列的設(shè)計(jì)難度，此處不再贅述。

到此為止，還差最后一個(gè)問題就能說完了，雖然這個(gè)問題只占一個(gè)環(huán)節(jié)，但卻占一半的重要性，那就是配套這個(gè)系統(tǒng)的算法。按照上述的方案，如果所有器件都完美地協(xié)同工作，我們就能得到576=24*24分辨率的精確深度圖，但相信大家都能看出問題，那就是分辨率太稀疏，完全沒有發(fā)揮SPAD陣列30000=150*200分辨率的能力。這就需要通過軟件來補(bǔ)齊最后的這一短板，蘋果應(yīng)用了當(dāng)前AI&機(jī)器視覺領(lǐng)域最前沿的研究成果，利用主攝單目RGB生成稠密但不準(zhǔn)確的深度，利用Spot dToF生成稀疏但準(zhǔn)確的深度，最后利用神經(jīng)網(wǎng)絡(luò)引擎將兩者進(jìn)行算法融合，得到一幅既稠密又準(zhǔn)確的深度圖，也就是我們?cè)谑謾C(jī)上最終看到的效果。當(dāng)然這一過程并不像此處所講的這么簡(jiǎn)單，也需要龐大的工程量，安思疆也是經(jīng)過了2年的研究才有成果。

圖16. (a)主攝2D彩色圖像?(b)Lidar正常工作時(shí)生成的深度圖，不同顏色代表不同的距離?(c)只遮擋Lidar Scanner (d)只遮擋主攝像頭

如圖16所示，iPhone的Lidar Scanner實(shí)際上還結(jié)合了它左邊的主攝像頭，兩者正常協(xié)同工作時(shí)，才能得到深度準(zhǔn)確且輪廓清晰的深度圖，如（b）所示；當(dāng)單獨(dú)遮住Lidar Scanner時(shí)，如圖（c）所示輪廓依然清晰，但此時(shí)顏色發(fā)生很大變化，說明深度不準(zhǔn)確；當(dāng)單獨(dú)遮擋主攝像頭時(shí)，如圖（d）所示顏色雖然準(zhǔn)確，也即深度雖然準(zhǔn)確，但是輪廓細(xì)節(jié)已經(jīng)丟失，即當(dāng)Lidar單獨(dú)工作時(shí)就會(huì)出現(xiàn)前面所述的深度太稀疏的缺陷。以上情況充分說明，只有當(dāng)主攝像頭、Lidar scanner、AI深度融合算法同時(shí)工作時(shí)，才能得到理想的結(jié)果。蘋果在這里使用的算法叫“Sparse-to-Dense”，稀疏轉(zhuǎn)稠密算法，這是當(dāng)前AI視覺領(lǐng)域最前沿的課題之一。安思疆對(duì)此也進(jìn)行了深入研究，同樣取得了理想結(jié)果。

圖17. (a)2D彩色圖像 (b)Ground truth (c)稀疏深度 (d)融合后的深度

通過安思疆現(xiàn)有的高精度模組可獲取大量高質(zhì)量的3D數(shù)據(jù)，帶來了極大便利，在此基礎(chǔ)上采用了一種有監(jiān)督的深度學(xué)習(xí)算法，得到高質(zhì)量的深度融合模型。如圖17所示，我們分別在公開數(shù)據(jù)集和實(shí)際模組中對(duì)自研的融合算法進(jìn)行了測(cè)試，可以看到很理想的效果呈現(xiàn)。 蘋果Spot dToF激光雷達(dá)的解析到這里就基本結(jié)束了，因?yàn)椴捎昧巳绱藦?fù)雜的設(shè)計(jì)，這顆激光雷達(dá)的生產(chǎn)組裝也異常復(fù)雜，由韓國(guó)LG最先進(jìn)的工廠為其代工。

一顆小小的激光雷達(dá)，其中蘊(yùn)含了如此多的黑科技，即便復(fù)制都很難，其背后的研發(fā)投入必定是巨大的，這也是其產(chǎn)品定價(jià)的底氣所在。難，才是價(jià)值所在，安思疆立志與產(chǎn)業(yè)界一道攻堅(jiān)克難。

編輯：黃飛

?