為什么光場相機(jī)得不到普及？！

外界（特別是攝影消費(fèi)者）對當(dāng)下光場相機(jī)性能和前景的普遍看法，即這盛極一時的“神器”被負(fù)面看待為“雞肋”，科技媒體界甚至曾在一段時間內(nèi)普遍看衰光場相機(jī)的市場價值。

所謂普及，就是指這一設(shè)備的廣泛應(yīng)用，廣泛的應(yīng)用意味著旺盛且龐大的需求。而在需求層面，可以分為To C （個體消費(fèi)者，如攝影愛好者）和To B（企業(yè)機(jī)構(gòu)）兩個方面。

本文在嘗試回答這個問題之余，也逆向探討這一個問題的反問，即光場相機(jī)究竟在什么樣的條件下可以得到普及？限制其走向大眾市場的“緊箍咒”究竟為何？后續(xù)技術(shù)進(jìn)步的“大乘佛法真經(jīng)” 能否去除這一桎梏？如果可以，光場相機(jī)又會在哪些領(lǐng)域發(fā)揚(yáng)光大？

一、 空間－視角信息折中，光場相機(jī)的阿喀琉斯之踵

就To C端而言，最大的需求源于攝影攝像，而光場相機(jī)的市場遇冷，最主要的原因還是其本身硬件系統(tǒng)的空間－視角折中設(shè)計導(dǎo)致其空間分辨率過低。光場相機(jī)的原理是一個微透鏡陣列被置于主透鏡和CCD/CMOS感光芯片之間 （見圖1）， 以同時得到不同視角下的場景圖片。每個微透鏡下的一個像素，對應(yīng)主透鏡上的一小部分，從而代表了一個觀察視角；每個微透鏡本身則對應(yīng)一個物方景象空間點(diǎn)。假定感光芯片像素總數(shù)為, 則其等于視角信息數(shù)目?（每個微透鏡下的像素數(shù)）與空間信息數(shù)目（微透鏡總數(shù)）的乘積，。

圖1 光場相機(jī)硬件結(jié)構(gòu)圖 （Lynch, Kyle. Development of a 3-D fluid velocimetry technique based on light field imaging. Diss. 2011）

在這一原理的限制下，一個原始像素數(shù)目為5638*7728 （4357萬）像素的感光芯片，如果微透鏡下像素數(shù)目為14*14， 則最終得到的單視角圖片只有402*552（22萬）像素。這什么水平呢？用手機(jī)攝像頭的像素數(shù)目做類比，這種級別的分辨率，僅僅略優(yōu)于世界上第一款安裝攝像頭的手機(jī)，于千禧年2000發(fā)布的夏普J(rèn)-SH04，就圖3這款爺爺輩的手機(jī)，攝像頭像素11萬。

這一原理性的硬件限制，極大地降低了原始感光芯片的有效利用率。而攝影愛好者對像素分辨率有著極其挑剔的訴求，就生活場景而言，要求相機(jī)千萬像素起步。為了達(dá)到纖毫畢現(xiàn)，甚至有人寧愿回歸使用膠片相機(jī)。在如此反差強(qiáng)烈的性能要求與供給能力對比下，光場相機(jī)敗走消費(fèi)者市場就幾成定局！

由于視角－空間折中關(guān)系的存在，低空間分辨率這一問題的解決并不容易。最直接的解決方法，就是增加感光芯片的像素數(shù)目。一方面，但像素數(shù)目的增加也意味著數(shù)據(jù)存儲量的增加，使得數(shù)據(jù)的處理和計算更加麻煩。另一方面，像素數(shù)目的增加，要么是增加感光芯片的靶面積，要么是在感光芯片面積一定的條件下使得單個像素的面積變小，但兩種方法都存在各自的問題和挑戰(zhàn)。

對前者而言，感光芯片的尺寸，有著明確的行業(yè)標(biāo)準(zhǔn)，它與鏡頭的尺寸存在著適配關(guān)系，芯片的大小決定了對應(yīng)鏡頭的尺寸大小，從而進(jìn)一步?jīng)Q定了DOF、信噪比、動態(tài)范圍等一系列性能。簡單來說，越大的芯片意味著越沉重且昂貴的鏡頭，越淺的DOF, 越高的噪聲水平還有越明顯的漸暈效應(yīng)……

如果不改變感光芯片的面積，而使單個像素的尺寸變小（工藝的進(jìn)步毫無疑問可以達(dá)到），則又會面臨另外一個窘境。即微透鏡尺寸的衍射效應(yīng)約束以及f#（f數(shù)，fnumber）匹配關(guān)系約束。當(dāng)僅考慮衍射效應(yīng)的時候，微透鏡衍射光斑的尺寸為：

其中M是微透鏡的放大系數(shù)，對微透鏡可以認(rèn)為其聚焦在無窮遠(yuǎn)，即M近似于0,fnumber = 微透鏡焦距?除以微透鏡口徑, 這里不妨假定為4，即鏡頭常用的fnumber; 是光波的波長，不妨假設(shè)其為可見綠光532nm, 則衍射光斑直徑 為5.1微米。這意味著，對微透鏡而言，它的物理分辨極限為5.1微米，假設(shè)將進(jìn)入微透鏡的光看作成很多根光線，那么這些光線中最細(xì)的就是的這個尺度。換而言之，像素尺寸低于這個值，就會造成硬件浪費(fèi)，在微透鏡尺寸大小不變的條件下，讓像素尺寸變小，并不會提高相機(jī)的角度分辨率！這也就意味著，也無法簡單通過讓微透鏡尺寸變小，使得固定的CCD面積可以鋪滿更多的微透鏡，因?yàn)楦〉奈⑼哥R，對應(yīng)著更大的衍射光斑。

而為了讓感光芯片上的像素被充分利用，微透鏡下各個方向入射光線形成的光斑尺寸需要正好等于微透鏡本身的尺寸，因此微透鏡的fnumber和主鏡頭的fnumber必須匹配。如果采取更小的微透鏡尺寸，為了匹配主鏡頭的fnumber, 微透鏡的焦距就需要更短，意味著微透鏡本身的形狀曲率更高，相應(yīng)的成像像差更加嚴(yán)重。fnumber匹配讓微透鏡的硬件參數(shù)無形中又增加了一個枷鎖。

圖4 光場相機(jī)的fnumber 匹配示意圖 （Ng, Ren, et al. Light field photography with a hand-held plenoptic camera. Diss. Stanford University, 2005.）

由于上述約束關(guān)系的存在，可以不妨做一個大膽的判斷：如果保持現(xiàn)有成像系統(tǒng)結(jié)構(gòu)不變，即使感光芯片的制造工藝取得長足進(jìn)步，光場相機(jī)的空間分辨率也無法得到明顯改善。光場相機(jī)能在To C端被消費(fèi)者接納存在前提條件，需要等到十億到百億級別的感光芯片誕生，相應(yīng)的半導(dǎo)體計算、存儲能力也得到巨大飛躍。就目前而言，一億級別的芯片，已經(jīng)是人類工業(yè)能力的極限。

一句話以概括：光場相機(jī)的局限源于微透鏡，微透鏡的局限源于透鏡光學(xué)衍射極限。微透鏡即賦予了光場相機(jī)同時記錄光線強(qiáng)度和角度的能力，但也限制了其空間分辨率的提高。

二、工業(yè)檢測與醫(yī)療診斷，光場相機(jī)的兩大潛在需求爆發(fā)點(diǎn)

在To B方面，對光場相機(jī)沒有那么高的空間分辨率要求，光場相機(jī)可以被用作科研工具，例如顯微成像[1]、流體測速[2]和波前探測[3]等等，但這一領(lǐng)域的市場需求并不旺盛，無法稱得上令技術(shù)普及。因此，光場相機(jī)的大規(guī)模應(yīng)用取決于工業(yè)界需求，在這一領(lǐng)域，其扮演的角色是類似結(jié)構(gòu)光、雙目視覺一樣的深度傳感器。而與這些技術(shù)相比，光場相機(jī)具有被動視覺、成像快速、解算迅捷以及寬視場大景深的優(yōu)勢。

表1深度傳感器性能對照

在工業(yè)需求中，當(dāng)下潛在巨大需求的領(lǐng)域主要集中以下兩個領(lǐng)域：工業(yè)檢測與醫(yī)療診斷。

工業(yè)檢測方面，可以分為內(nèi)部探傷與外觀檢測。工業(yè)產(chǎn)品的外觀尺寸，反映了其加工誤差，不同加工環(huán)節(jié)的外觀瑕疵則反映了工序的好壞，因此工業(yè)外觀檢測在產(chǎn)品的質(zhì)量控制、成本控制上舉足輕重，其重要性不言而喻。而工業(yè)外觀檢測種類繁多，工業(yè)產(chǎn)品琳瑯滿目。這兩者充分說明了光場相機(jī)的潛在市場空間十分巨大。也因此，光場相機(jī)的第一步商業(yè)實(shí)用化，是在工業(yè)外觀檢測上被落地實(shí)用。比如手機(jī)屏幕模組的瑕疵三維檢測、精密工業(yè)零件（MEMS, 燃?xì)廨啓C(jī)葉片等等）的加工誤差檢測、芯片的金屬線檢測，等等。應(yīng)用案例可以參見，國內(nèi)奕目科技公司的Vomma光場相機(jī)主頁。

在內(nèi)部探傷領(lǐng)域，隨著X-ray光場成像[4]的提出，光場成像可以利用其三維立體成像優(yōu)勢，發(fā)展成為一種新的快速無損內(nèi)部探傷手段，這是只能進(jìn)行外觀深度探測的結(jié)構(gòu)光和線激光所不具備的優(yōu)勢。

光場相機(jī)在醫(yī)療診斷也具備巨大的潛力，這里僅僅列舉若干案例。

比如光場相機(jī)作為一種深度傳感器，可以輔助手術(shù)機(jī)器人完成精準(zhǔn)操作的微創(chuàng)手術(shù)。利用光場相機(jī)寬視場、大景深，深度信息解算迅速（100ms級別）, 光場相機(jī)可以快速定位醫(yī)療機(jī)械臂上的手術(shù)工具頭的位置，同時光場相機(jī)也可以完成目標(biāo)區(qū)域人體組織的定位，比如下圖中，在光場相機(jī)的定位輔助下，手術(shù)機(jī)器人精準(zhǔn)完成了傷口的縫合，光場相機(jī)甚至可以通過測量縫合線頭的形貌，判別縫合質(zhì)量。得益于光場相機(jī)的結(jié)構(gòu)緊湊型，機(jī)械臂與相機(jī)的手眼標(biāo)定（即相機(jī)坐標(biāo)系和機(jī)械臂的運(yùn)動坐標(biāo)系轉(zhuǎn)換）也更加便捷。

圖5 基于光場相機(jī)的手術(shù)機(jī)械臂 （Shademan, Azad, et al. Plenoptic cameras in surgical robotics: Calibration, registration, and evaluation. 2016.）

再比如光場相機(jī)應(yīng)用于內(nèi)窺鏡。由于光場相機(jī)基于被動視覺，無需輔助光源，基于光場相機(jī)的內(nèi)窺鏡，可以集成到一根探頭上，而基于結(jié)構(gòu)光的內(nèi)窺鏡則需要兩個探頭，即光源和成像系統(tǒng)，加劇了結(jié)構(gòu)的復(fù)雜度和手術(shù)操作難度 （在可以只往身體內(nèi)插一根管子的時候，也沒病人希望插兩根）。光場相機(jī)與內(nèi)窺鏡之間通過中繼鏡頭使得fnumber得到匹配。光場相機(jī)同時返回人體組織的深度信息和二維影像。

圖6 基于光場相機(jī)的硬式內(nèi)窺鏡 （Le, Hanh ND, et al. ;3-D endoscopic imaging using plenoptic camera.2016.）

圖7 基于結(jié)構(gòu)光的內(nèi)窺鏡（Lin, Jianyu. ;An endoscopic structured light system using multispectral detection.2015）

再比如光場相機(jī)應(yīng)用于人眼部的醫(yī)療檢測。例如虹膜的形態(tài)，除了反映人眼部健康之外，也是人其他部位生理信息的重要指標(biāo)，如晚期糖尿病可引起虹膜新生血管形成，也稱虹膜紅腫，虹膜上出現(xiàn)細(xì)小血管。此外，治療良性前列腺肥大（BPH）的藥物也會改變虹膜肌張力，導(dǎo)致虹膜結(jié)構(gòu)改變和眼部手術(shù)并發(fā)癥。針對這一問題，目前的主要檢測手段是OCT斷層掃描，還有超聲顯微鏡。但虹膜是一種動態(tài)組織，它的形狀和配置可能會隨著眼球運(yùn)動而改變，OCT測著測著，沒準(zhǔn)病人就眨眼了。超聲顯微鏡則需要給病人眼部麻醉，探頭需要和眼球直接接觸，操作也復(fù)雜。光場相機(jī)則可以避免這些問題，利用其快速成像的優(yōu)勢，檢測只需要一瞬間。

圖8 基于光場相機(jī)的虹膜檢測 a）病變的眼睛 b）虹膜上的腫瘤凸起 （Chen, Hao, et al. Human iris three-dimensional imaging at micron resolution by a micro-plenoptic camera. 2017）

再比如光場相機(jī)應(yīng)用于牙齒取模。牙科診所，病人牙齒有缺損，需要用石膏對病人進(jìn)行取模，患者咬住十分鐘到半小時，石膏固化后寄送給人造牙的工廠，等個十天半個月后澆筑好的牙齒再寄送到牙醫(yī)手上。但是光場成像，可以在瞬間完成牙齒三維形貌的測定。因此有希望完成快速取模，同時數(shù)據(jù)資料即時傳輸?shù)饺嗽忑X生產(chǎn)廠家，利用3D打印造出牙齒的模具或者直接打印牙齒本身，從而極大地降低取模時間，并且顯著縮短患者等待人造牙齒的時間周期。

圖9 基于光場相機(jī)的牙齒3D測量 （https://raytrix.de/）

此外，光場相機(jī)在醫(yī)療美容也可以存在應(yīng)用，作為一種深度相機(jī)，可以提供整形前后的立體的外觀相對變化信息……

三、超透鏡，光場相機(jī)的必由之路

如前文所述，光場相機(jī)的低空間分辨率源于微透鏡導(dǎo)致的空間－視角信息折中，而微透鏡又受限于光學(xué)衍射極限，使得即使感光芯片加工工藝提高，也無法把微透鏡做得更小。這一問題難道無解？非也，超透鏡（metalens）技術(shù)，毫無疑問是解開這個限制的關(guān)鍵技術(shù) [5]。人類技術(shù)的進(jìn)步，源于兩大推動力，尺度和維度。超透鏡就是一種在尺度上通過細(xì)微結(jié)構(gòu)，調(diào)整波前的技術(shù)。透鏡的作用，無非是調(diào)制波前，使得光線匯聚。從菲涅爾透鏡上我們可以看到超透鏡的邏輯，對于一個凸透鏡，去除掉透鏡中對波前調(diào)制沒有貢獻(xiàn)的部位，可以得到一個很薄的但功能等效的凸透鏡。這種菲涅爾透鏡中的每個細(xì)微結(jié)構(gòu)，負(fù)責(zé)調(diào)制波前。由此及彼，假如一個平面上有很多的細(xì)微結(jié)構(gòu)（尺度接近光波波長），每個細(xì)微結(jié)構(gòu)都參與調(diào)制，就可以得到一個和凸透鏡一樣的波前調(diào)制器。這種超透鏡的最大優(yōu)勢在于，不僅結(jié)構(gòu)輕薄，消除了因?yàn)橥哥R厚度造成的復(fù)雜像差，更重要的是突破了衍射極限。

圖10 菲涅爾透鏡制造原理

可以大膽預(yù)測，在超透鏡技術(shù)成熟后，光場相機(jī)的下一步道路必然是采用基于超透鏡的主透鏡與微透鏡，在沒有衍射效應(yīng)的束縛下，微透鏡可以越做越小，只要感光像素的尺寸可以繼續(xù)變小，微透鏡的尺寸就可以跟進(jìn)變化。不僅可以有效提高光場相機(jī)的空間分辨率，視角分辨率也可以因?yàn)橄袼刈冃《岣摺Ｔ俱Q制光場相機(jī)的小基線問題，也必將得到進(jìn)一步緩解，成像像差也會得到改善。

簡單總結(jié)來說，光場相機(jī)的普及，在攝影群體中具有很大的難度，受限于光場相機(jī)的空間－角度信息折中關(guān)系，這一情況不會因?yàn)楦泄庑酒闹圃旃に囘M(jìn)步而有明顯改善；而光場相機(jī)的獨(dú)特優(yōu)勢，令其在工業(yè)上被廣泛應(yīng)用存在可能；同時，超鏡頭技術(shù)的出現(xiàn)以及迭代更新的感光芯片，使得光場相機(jī)的分辨率將會得到提高，從而克服現(xiàn)存的性能缺陷。

在當(dāng)下的技術(shù)水平下，為了繞開折中設(shè)計這一性能陷阱，光場成像也有其他變種，比如掩碼、鬼成像等等，可以下次繼續(xù)探討，這些光場相機(jī)變種與微透鏡構(gòu)型的光場相機(jī)在性能上的區(qū)別與優(yōu)劣之分。

參考文獻(xiàn)：

[1] Broxton, Michael, et al. Wave optics theory and 3-D deconvolution for the light field microscope. Optics express 21.21 (2013): 25418-25439.

[2] Mei, Di, et al. "High resolution volumetric dual-camera light-field PIV."Experiments in Fluids60.8 (2019): 1-21.

[3] Rodríguez-Ramos, Luis Fernando, et al. "Concepts, laboratory, and telescope test results of the plenoptic camera as a wavefront sensor."Adaptive Optics Systems III. Vol. 8447. International Society for Optics and Photonics, 2012.

[4] Viganò, Nicola. Emulation of X-ray Light-Field Cameras. Journal of Imaging 6.12 (2020): 138.

[5] Lin, Ren Jie, et al. "Achromatic metalens array for full-colour light-field imaging."Nature nanotechnology14.3 (2019): 227-231.

編輯：黃飛