?

據(jù)麥姆斯咨詢報道，蘋果（Apple）公司近日在全球開發(fā)者大會上發(fā)布了首款混合現(xiàn)實（MR）頭顯Apple Vision Pro。這款售價高達3499美元的設(shè)備，旨在取代用戶的智能手機、筆記本電腦、手表、平板電腦、電視甚至鼠標(biāo)，它配備了豐富的傳感器，可以跟蹤用戶的動作、視線、手勢、語音命令以及在環(huán)境中的位置。根據(jù)蘋果公司的公告，Vision Pro的內(nèi)部和外部有多達14個攝像頭，1個激光雷達掃描儀，以及多顆紅外LED照明器，可以幫助它了解用戶在哪里以及在做什么。除此之外，這款頭顯還搭載了一顆新的專用R1芯片，負(fù)責(zé)處理來自所有這些傳感器（以及其它一些傳感器）的數(shù)據(jù)，以支持蘋果帶領(lǐng)我們轉(zhuǎn)向“空間計算”時代。

?

什么是“空間計算”？

“Vision Pro是一種全新的計算機。”蘋果公司首席執(zhí)行官Tim Cook在首次展示這款混合現(xiàn)實頭顯時說，“這是第一款用戶‘透’過它看世界的蘋果產(chǎn)品。”這標(biāo)志著蘋果由此轉(zhuǎn)向空間計算。那么什么是空間計算？臺式電腦被認(rèn)為是世界上第一臺個人電腦，或者我們今天普遍稱呼的PC，而筆記本電腦將臺式機縮小為便攜式電腦，智能手機的出現(xiàn)，在此基礎(chǔ)上再次將其縮小，智能手表則更進一步，將計算機縮小到了用戶的手腕上。空間計算，標(biāo)志著蘋果首次擺脫個人計算的束縛，從某種意義上說，用戶從現(xiàn)在開始將不再受到顯示器的限制——無論大小。“由此，用戶無論身處何地，都可以在其周圍構(gòu)建熒幕。”Tim Cook總結(jié)道，然后他把舞臺交給了設(shè)計副總裁Alan Dye。

空間計算標(biāo)志著一個新的計算時代，用戶的工作環(huán)境不會對Vision Pro的顯示造成任何限制。用戶的任意真實環(huán)境都可以變成工作空間，就像真實顯示屏上的文件夾、窗口和小組件一樣，Vision Pro能夠支持用戶在3D空間中創(chuàng)建它們。Dye解釋說，在空間計算中，用戶不必最小化一個窗口來打開一個新窗口，只需將一個窗口拖到一邊，然后打開另一個即可。蘋果的VisionOS系統(tǒng)將用戶的房間和視覺周邊變成了一個操作系統(tǒng)，用戶可以在任意地點創(chuàng)建多個屏幕/窗口，移動并調(diào)整它們的大小。這就像科幻大片里鋼鐵俠的全息電腦……但有了更好、更優(yōu)雅的界面。

M2和R1芯片如何處理空間計算？

Vision Pro的核心是兩個芯片——M2和R1，它們協(xié)同工作以實現(xiàn)虛擬和現(xiàn)實的無縫結(jié)合。Vision Pro配備了蘋果公司的M2芯片，執(zhí)行計算和多任務(wù)處理，還配備了專有的新款R1芯片，該芯片與Vision Pro內(nèi)外的所有傳感器協(xié)同工作，以跟蹤用戶的視線、控制輸入，并幫助虛擬元素在現(xiàn)實世界中無縫呈現(xiàn)，實現(xiàn)很多令人驚艷的功能，比如在用戶周圍的世界投下陰影，當(dāng)你四處走動時角度會隨之改變，或者當(dāng)現(xiàn)實中有人走進用戶的視野時消失/淡出。

R1芯片可以說是Vision Pro的秘密武器。它處理來自設(shè)備上每個傳感器的數(shù)據(jù)，同時以驚人的精度跟蹤用戶的環(huán)境、位置、手，甚至眼球的運動。跟蹤用戶的眼球運動，是Vision Pro掌握用戶想與哪些元素交互的基礎(chǔ)，實際上可以將它們變成真正的光標(biāo)。令人印象深刻的是，R1芯片還利用用戶的眼睛數(shù)據(jù)來了解屏幕上哪些元素需要渲染，哪些元素不需要渲染。鑒于人在任何給定的時間只能專注于有限的區(qū)域，R1芯片知道只渲染視覺外圍的一部分，而不是浪費資源渲染整個場景。這是一種非常聰明的方法，可以優(yōu)化電池使用，同時提供身臨其境的卓越體驗。然而，這還不是它的全部能力……

蘋果工程師透露R1芯片的強大功能

蘋果公司的一位神經(jīng)技術(shù)工程師揭秘了Vision Pro的內(nèi)部技術(shù)到底有多復(fù)雜。在受到保密協(xié)議約束的前提下，工程師Sterling Crispin在其推特上分享了Vision Pro如何跟蹤用戶的視線，然后完美實現(xiàn)界面導(dǎo)航。R1芯片在預(yù)測用戶的視線路徑和意圖方面近乎神奇。Crispin提到：“最酷的是R1能夠在用戶實際‘點擊’之前預(yù)測用戶將要點擊的內(nèi)容。用戶的瞳孔在點擊之前會做出反應(yīng)，部分原因在于人眼會對點擊后產(chǎn)生的結(jié)果有預(yù)期反應(yīng)。因此，我們可以通過監(jiān)測用戶的眼睛行為，利用他們的大腦構(gòu)建生物反饋，并實時重新設(shè)計用戶界面來創(chuàng)建更多的預(yù)期瞳孔反應(yīng)。”

Crispin進一步解釋稱：“推斷認(rèn)知狀態(tài)的其他技巧包括，以用戶可能無法察覺的方式快速向用戶閃現(xiàn)視覺效果或聲音，然后檢測他們對此的反應(yīng)。另一項專利詳細介紹了如何利用機器學(xué)習(xí)和來自身體及大腦的信號來預(yù)測用戶的注意力、放松程度或?qū)W習(xí)效果。然后更新虛擬環(huán)境以增強這些狀態(tài)。由此，想象一個自適應(yīng)的沉浸式環(huán)境，它可以通過改變用戶在背景中的所見所聞來幫助學(xué)習(xí)、工作或放松。”

全面了解Apple Vision Pro中的傳感器

各種各樣的傳感器主導(dǎo)著Vision Pro的空間計算能力，下面我們來看看蘋果在主題演講中重點介紹的傳感器，以及Vision Pro內(nèi)部的其他一些傳感器。本文給出的傳感器可能并不完整，因為目前還沒有人真正拆解過Vision Pro。

攝像頭：Vision Pro有14個攝像頭，可以幫助它捕捉頭顯內(nèi)外的細節(jié)。Vision Pro外部有多達10個攝像頭（2個主攝像頭、4個向下的攝像頭、2個原深感攝像頭和2個側(cè)面攝像頭），以3D立體方式感知用戶的環(huán)境，其內(nèi)部還有4個紅外相機，可以跟蹤用戶的眼睛并對虹膜進行3D掃描，幫助設(shè)備驗證用戶身份。

激光雷達掃描儀：激光雷達掃描儀的用途是利用光飛行時間原理測量距離，創(chuàng)建用戶周圍環(huán)境的3D地圖。目前，它已被用于大多數(shù)自動駕駛汽車系統(tǒng)，而在iPhone的后置攝像頭系統(tǒng)中通過它掃描周圍3D場景實現(xiàn)增強現(xiàn)實應(yīng)用。在Vision Pro上，激光雷達掃描儀位于用戶鼻子正上方的正中央，可以捕捉用戶周圍世界的完美3D視圖。

紅外相機：現(xiàn)在，很多設(shè)備上都配有紅外相機，它們能夠在可見光相機無法工作的情況下起到關(guān)鍵的成像作用。紅外傳感器能夠在絕對黑暗條件下工作，這使它們比傳統(tǒng)可見光相機具有顯著的優(yōu)勢。這就是為什么Vision Pro內(nèi)部配備了4個紅外相機，其外部配備的紅外相機/傳感器（數(shù)量不詳）可以幫助設(shè)備在照明不佳的條件下看清周圍環(huán)境。Vision Pro內(nèi)部的紅外相機在眼動跟蹤和虹膜3D掃描方面表現(xiàn)卓越，能夠執(zhí)行蘋果的安全Optic ID認(rèn)證。

照明器：雖然這些不是傳感器，但它們在傳感器完美實現(xiàn)功能方面發(fā)揮著關(guān)鍵作用。Vision Pro外部有2個紅外照明器，可以閃爍不可見的紅外點陣網(wǎng)格，幫助準(zhǔn)確掃描人臉（與Face ID非常相似）。在Vision Pro內(nèi)部，用戶的每只眼睛周圍都有不可見的LED照明器，可以幫助紅外相機跟蹤眼睛的運動、反應(yīng)，并對虹膜進行詳細掃描。這些照明器在低光環(huán)境中起著至關(guān)重要的作用，為紅外相機提供了工作所需要的數(shù)據(jù)。

MEMS加速度計和陀螺儀：盡管蘋果在Vision Pro發(fā)布會上沒有提這些傳感器，但很明顯，Vision Pro有多個加速度計和陀螺儀來幫助它跟蹤運動和傾斜。與所有優(yōu)秀的XR頭顯產(chǎn)品一樣，Vision Pro能夠?qū)崿F(xiàn)6個自由度的跟蹤，能夠檢測左、右、前、后、上、下移動。加速度計可以幫助頭顯捕捉這些動作，而陀螺儀可以了解用戶何時傾斜頭部。這些傳感器，連同相機和掃描儀，為R1芯片提供了所需要的數(shù)據(jù)，以掌握用戶的站姿、移動和視線。

MEMS麥克風(fēng)：Vision Pro中內(nèi)置了數(shù)量不詳?shù)柠溈孙L(fēng)，可執(zhí)行語音檢測和空間音頻功能。語音命令是用戶與Vision Pro交互的核心部分，可以幫助用戶執(zhí)行搜索查詢、調(diào)用應(yīng)用程序/網(wǎng)站，并與Siri自然交談。不僅如此，麥克風(fēng)還需要對用戶的房間進行聲學(xué)掃描，就像相機需要進行視覺掃描一樣。這樣做是為了讓聲音與用戶所在的房間相匹配，提供適當(dāng)?shù)幕祉憽⒁粽{(diào)頻率等。此外，在空間音頻應(yīng)用中，當(dāng)用戶轉(zhuǎn)頭時，聲音感覺仍然來自原來的同一位置，從而創(chuàng)造一種聲音錯覺，讓耳朵聽到的“匹配”眼睛所看到的。

其它關(guān)鍵組件

除了傳感器，Vision Pro還配備了從屏幕到電池等一系列高科技組件。

顯示器：從其名稱就可以看出，Vision Pro顯然非常注重用戶的視覺感受。它采用了有史以來最令人驚艷的顯示器。Vision Pro有兩個郵票大小的顯示器（每只眼睛一個），每個顯示器的像素都比4K電視高。這使Vision Pro主顯示器的總像素數(shù)達到了驚人的2300萬像素，以及12毫秒的刷新率（約為83 fps）。同時，Vision Pro外部還有一個顯示屏，可以向周圍的人顯示用戶的眼睛。盡管外部顯示器的素質(zhì)尚不清楚，但它是一個曲面OLED屏幕，前面有一層透鏡膜，可以給人一種3D顯示的印象，所以人們看到的是有深度的圖像，而不僅僅是平面圖像。

音頻驅(qū)動器：Vision Pro的系帶在用戶兩側(cè)鬢角位置都內(nèi)置了音頻驅(qū)動器，當(dāng)用戶戴上后，可以向耳朵發(fā)射豐富的、環(huán)境響應(yīng)的音頻。蘋果公司提到，Vision Pro為每只耳朵都提供了雙音頻驅(qū)動，這可能表明其音質(zhì)可以與AirPods Max相媲美。

風(fēng)扇：為了保證整個設(shè)備的散熱，Vision Pro配備了數(shù)量不詳?shù)娘L(fēng)扇，有助于保持其內(nèi)部的最佳溫度。這些風(fēng)扇很安靜，但功能強大，可以為耳機內(nèi)的兩顆強大芯片提供散熱。底部的設(shè)計細節(jié)有助于排出熱空氣。

數(shù)字旋鈕：借鑒Apple Watch，Vision Pro也有一個數(shù)字旋鈕，它可以旋轉(zhuǎn)來召喚主屏幕，切換淹沒用戶周圍的沉浸式環(huán)境，以獲得真正的VR體驗。

快門按鈕：數(shù)字旋鈕還配有快門，可用于拍攝3D照片和視頻，這些照片和視頻可以在Vision Pro中查看。

電池：Vision Pro有一個獨立的電池單元，使用專有連接器連接設(shè)備。Vision Pro之所以采用獨立的電池組，是為了盡可能減輕頭顯設(shè)備本身的重量。考慮到電池的重量問題，采用外置電池方案有助于分配負(fù)載。蘋果公司沒有分享電池的具體容量，介紹稱充滿電后可以連續(xù)使用2小時。另外，獨立電池如何充電也沒有提及。

編輯：黃飛

?