不知道大家是否還記得游戲畫面從2D進化到3D時代的那種感動?唯有更加趨近真實的3D立體“視界”,才能帶給我們最為震撼和沉浸式的體驗。如今,手機攝像頭模塊也正走在從2D向3D時代過渡的三岔路口,而TOF技術就是其中最有前景和錢景的出路。
3D視覺成像的三個方向
曾經,智能手機只要做到性能強、網速快、拍照清晰、續航持久就可以了。然而,如今的人們已經不再滿足于“屏幕內的視界”,除了需要拍攝更具立體感的照片,更安全的面部識別/支付、3D試妝、AR裝潢、AR游戲、體感游戲、全息影像交互等需要“3D視覺成像”技術支撐的應用環境(圖1),才是智能手機未來的發展趨勢。
根據原理和硬件實現方式的不同,智能手機領域最靠譜的3D視覺成像技術逐漸衍生出了三個方向,它們分別是雙目立體成像、3D結構光以及TOF技術。下面,就讓我們依次了解一下這三種技術的差異吧。
雙目立體成像:無解的光線
我們去電影院通過立體眼鏡觀看3D電影,就是雙目成像技術的一種表現形式:由于雙眼會有視覺差距,從而呈現出立體的畫面。在手機領域,配備兩顆攝像頭陣列,就滿足了雙目成像技術的最基本要求。
雙攝手機能干啥
如今幾乎所有千元以上的新品都在主打雙攝模塊(圖2),而兩顆鏡頭的組合,也賦予了智能手機在一定程度上偵測物體遠近的能力,可以拍攝出具備硬件級背景虛化效果的照片。
此外,以華為/榮耀手機為代表的品牌,在相機APP中還提供了“3D動態全景”模式(圖3)。點擊開啟后,只要按住快門將攝像頭對準被攝物體,然后繞著它沿固定方向移動,松開手即可完成拍攝。
在相冊預覽時,我們只要點擊照片中對應的3D圖標,就能將這張靜止的圖片變成動態的視頻,通過陀螺儀轉動手機,或是手指的拖拽移動欣賞拍攝物體的不同角度。總之,在拍攝具備景深信息和3D動態的立體照片,以及時下流行的AR合影和AR萌拍時(圖4),雙攝手機的表現總會優于單攝手機,而這就是類似雙目成像技術背后的功勞。
來自光線的困擾
智能手機所武裝的標準攝像頭能否拍攝清晰的圖像,完全取決于環境的光線,過亮或過暗的光線都會造成識別上的困難。就拿時下流行的“面部識別”功能為例(圖5),無論手機前置攝像頭是1顆還是2顆,其本質上還是2D成像,不僅存在被面部照片或面部視頻“欺騙”的風險,在漆黑環境下也將徹底失效。
為此,很多手機還會額外搭配專用的前置紅外補光單元,從而解決漆黑環境下的面部識別難題。比如小米8,就在屏幕的劉海部分添加了隱藏式的紅外照明原件和紅外相機(圖6)。需要注意的是,紅外補光單元的加盟,依舊無法解決此類手機屬于2D成像面部識別的事實,與iPhone X可以用于安全支付的Face ID不可同日而語。
換句話說,目前智能手機通過雙攝模擬雙目成像技術的方案,最多只能算是2.5D,無論是精準度還是對光線敏感度的要求,都還不足以幫助手機進入真正的3D視覺成像時代。
3D結構光:距離是死穴
iPhone X是一款里程碑式的產品,它在手機領域首次實現了深度機器視覺技術,依靠名為“結構光技術”的硬件模組,實現了對面部信息采集從2D到3D的進化。
淺析結構光技術
簡單來說,iPhone X在采集面部信息時,前置攝像頭基本就是擺設,而是依靠由紅外鏡頭、泛光感應元件和點陣投影器構成的“結構光模具”(圖7)。
其中,點陣投影器會發射3萬多個肉眼不可見的光點投影在你的臉部,繪制出三維建模的立體面譜(圖8),紅外鏡頭則會讀取這些點陣圖案,并將信息發送到A11處理器的安全隔離區進行匹配對照,而泛光感應則是確保識別面部不受環境光線的影響。
和前文提到的已經逐漸普及的、基于前置攝像頭和軟件算法實現的2D面部識別方案相比,iPhone X通過結構光帶來的Face ID,具備金融級別的安全等級,因此蘋果才敢讓Face ID在解鎖手機之外,還能用于購買應用以及支付Apple Pay。
如今,結構光技術已經不再是iPhone X的專利,小米8探索版、OPPO Find X等手機都先后引入了類似的技術,從而實現了媲美iPhone X的Face ID能力。需要注意的是,小米8探索版的結構光模塊暫時只能用來解鎖(通過屏下指紋識別用于支付),而OPPO Find X則已支持支付寶刷臉支付的功能。
從技術上來看,iPhone X、小米8探索版和OPPO Find X的結構光模塊大致相同,只是在元器件叫法和點陣傳感器類型和發射點的數量上存在差異。比如iPhone X將關鍵元件稱為點陣投影器(散斑結構光,可發射3萬個識別點)、紅外鏡頭和泛光感應元件;小米8探索版叫點陣投影器(編碼結構光,可發射3.3萬個識別點)、紅外相機和泛光照明元件(圖9);
Find X則稱為點陣投影器(散斑結構光,可發射1.5萬個識別點)、IR補光燈和IR攝像頭(圖10)。雖然細節上存在不同,但幾款手機在面部解鎖的體驗上卻基本相同。
結構光技術的缺陷
結構光技術幫助手機進入了3D視覺成像時代,但它的實際應用范圍還是相對有限,比如它只能放在手機正面與前置攝像頭做鄰居,目前比較成熟的方案也就是面部解鎖、面部支付、3D美顏以及類似Animojis的3D表情制作(圖11)。
而未來結構光的優化方向則是實現3D靜態建模,掃描用戶3D頭像信息用于游戲、3D視頻通話或進行3D打印(圖12)。
此外,結構光的特點是不必獲取被拍攝物體的表面紋理,而是將一簇簇的光線投影到物體的表面,進而通過光線采集物體的位置以及三維縱深等信息。然而,正是因為結構光投射的是一簇簇的光線,如果距離過遠光線就會發散從而失去識別能力,這也就造成了結構光僅能作用于近距離識別。
無論是iPhone X、小米8探索版還是Find X,只要手機距離面部超過1米左右解鎖就會失效。當然,現實中我們手機解鎖時距離我們也就是一臂的距離,并不影響結構光的識別,但如果用于更遠距離的AR/VR交互就有些不夠看了。
TOF技術:未來的趨勢
TOF(Time of flight,飛行時間測距法)同樣是一種用于3D視覺成像的技術,它和結構光一樣,都是通過光線進行物體的識別,但二者在底層技術和識別效果方面卻存在著極大的差異。
TOF技術的原理和優勢
TOF技術的原理,就是通過專用傳感器,給目標連續發送光脈沖,然后用傳感器接收從物體返回的光,最終通過探測光脈沖的飛行(往返)時間來得到目標物距離。和結構光的點陣傳感器相比,TOF技術在距離和精度上有了極大的改善:
1、結構光技術發射的是一簇簇的光線,而TOF技術發射的是一整面光線(圖13),可以見有效深度信息點從3萬個提升到30萬個甚至更多。
當用戶進行解鎖和支付等涉及安全的操作時,TOF技術可帶來更精細的深度成像,最大限度提升人臉識別的安全性,做到金融級別的安全保護(圖14)。
2、結構光技術的最佳工作距離為0.2米到1.2米,而TOF技術最佳工作距離為0.4米到5m米(理論最高可達10米),更遠的有效距離,可以進一步擴展3D視覺成像應用的范圍和潛力;
3、TOF技術的傳感器比結構光模塊更少更小,成本相對更低,也可以簡化手機主板布局,哪怕是僅有屏幕1/3寬度的“劉海”里也足夠容納相關的硬件單元;
4、TOF技術既可以與手機前置攝像頭聯姻,放在手機的額頭位置,也能與手機后置鏡頭搭檔,實現背部三攝的豪華布局。
前置TOF設計方案
vivo曾在2018世界移動大會(上海)中發布了前置TOF方案(圖15),并將其命名為“vivo TOF 3D超感應技術”。
由于TOF的功能與結構光有所重疊,所以前置TOF設計同樣可以帶來與結構光相似的功能,比如金融級的面部解鎖、面部支付、3D美顏、3D表情、3D頭像建模等,利用TOF有效距離更遠的優勢,在應用范圍和實際體驗上的表現會更好(圖16)。
比如,利用手機將萬物(比如自己的頭像)建模,再將模型與其他虛擬游戲結合,讓玩家自己作為“新世界”的主角,兼顧沉浸式視覺體驗與體感操作的樂趣。此外,在購物方面,TOF可以帶來更真實和精確的3D試衣效果,無需逛賣場試衣就能放心下單。
后置TOF設計方案
OPPO最新發布的R17 Pro屬于后置TOF方案的代表,它在后置雙攝的上方安裝了第三顆鏡頭(圖17,圖18),也就是所謂的TOF模塊,從而將后置拍照從2D時代推向3D時代。
和前置TOF方案相比,后置TOF自然不再適用于面部解鎖和面部支付等功能了,但它在后置鏡頭的3D美顏、AR裝潢、AR游戲、體感游戲、全息影像交互等功能上,卻可以帶來比前置TOF方案更好的體驗。
其中,AR無疑是后置TOF方案的主戰場,因為時下大部分AR應用都是使用后置攝像頭拍攝真實世界的畫面并進行算法識別,然后再進行內容的填充。有了TOF技術加持的后置攝像頭,可以將更完美的3D建模填充到畫面里(圖19),讓AR效果更真實。
理性看待TDF技術前景
對智能手機而言,TOF是比結構光更具前景的3D視覺成像技術,它可以讓手機屏幕從單純的2D畫面轉變到更具空間感的3D畫面,無論是畫面的信息還是內容都將兀然增多。通過TOF模塊與前置或后置鏡頭的搭配,還可以讓TOF更有針對性地滿足具體應用場景的安全和體驗需求。
可惜的是,TOF技術才剛剛進入商業化量產的前期階段,與其搭配的應用環境還不成熟,所以如今它的玩法還不夠豐富,相關手機的售價也談不上性價比,短期內還是屬于偏概念的技術。想讓TOF技術真正爆發,還需要等待5G網絡的普及,屆時TOF搭配更極致的網速和帶寬,它將在3D視頻通話、遠程VR、遠程AR、遠程JR等泛現實迎來殺手級的體驗(圖20)。
讓我們共同期待吧。
-
TOF
+關注
關注
9文章
478瀏覽量
36271
發布評論請先 登錄
相關推薦
評論