Apple在 6 月 5 日的WWDC 主題演講中宣布推出其首款增強(qiáng)現(xiàn)實(shí)(AR) 頭戴設(shè)備Vision Pro. 該設(shè)備包含兩個(gè)領(lǐng)先的微型 OLED 顯示器，擁有令人難以置信的 2300 萬(wàn)像素——幾乎是 4K 顯示器的三倍。

自最初的Oculus Rift具有單個(gè) 1,280 x 800 顯示器以來(lái)，AR/VR 顯示質(zhì)量有了突飛猛進(jìn)的提升。但平衡價(jià)格與質(zhì)量的需要迫使 AR/VR 領(lǐng)導(dǎo)者（例如Meta和HTC Corp.）做出妥協(xié)。Apple 選擇了不同的策略，將設(shè)備的顯示技術(shù)和耳機(jī)制造商建議零售價(jià) 3,499 美元推向極致。

“[Apple] 最終在這款耳機(jī)上配備了三個(gè)顯示屏，無(wú)論以何種標(biāo)準(zhǔn)衡量，這都不便宜，” Moor Insights & Strategy的首席分析師Anshel Sag說(shuō)。“內(nèi)部的兩個(gè)微型 OLED，我從未見(jiàn)過(guò)任何應(yīng)用。這是一款體積極小、成本高昂的顯示器，帶有三元素鏡頭和光學(xué)系統(tǒng)，顯然是為這款耳機(jī)定制設(shè)計(jì)的。”

像素密度的新前沿

Vision Pro 有一對(duì) 1.41 英寸的微型 OLED 顯示屏。每個(gè)像素的大小與人類紅細(xì)胞的大小相當(dāng)。

除了像素?cái)?shù)外，Apple 在 WWDC 2023 上幾乎沒(méi)有提供有關(guān) Vision Pro 顯示器的具體信息，但分析師已經(jīng)填寫了詳細(xì)信息。Display Supply Chain Consultants首席執(zhí)行官 Ross Young表示，Vision Pro 包含一對(duì) 1.41 英寸微型 OLED 顯示器，該顯示器結(jié)合了索尼的 OLED 前面板和芯片代工廠臺(tái)積電的硅背板。每個(gè)像素的尺寸僅為 7.5 微米——與人類紅細(xì)胞的直徑相似。“這是迄今為止市場(chǎng)上分辨率最高的微型 OLED，”Young 說(shuō)。

該決議雖然令人印象深刻，但并沒(méi)有說(shuō)明全部情況。AR/VR 工程師通過(guò)每視野像素?cái)?shù) (PPD) 來(lái)衡量像素密度，這是一種衡量頭顯視野的指標(biāo)。Apple 尚未公布 Vision Pro 的 FOV，但試用過(guò)該設(shè)備的記者表示，它與其他提供 100 到 120 度 FOV 的 AR/VR 頭戴式耳機(jī)具有競(jìng)爭(zhēng)力。這應(yīng)該使耳機(jī)的每度像素在 50 到 70 PPD 左右。

“中央凹的分辨率是眼睛最高分辨率的部分，被認(rèn)為是每度 60 像素。如果你有一個(gè)每度 60 像素的顯示器，可能 99.9% 的人不會(huì)感知到這些像素，” Niantic的增強(qiáng)現(xiàn)實(shí)硬件負(fù)責(zé)人邁克爾米勒說(shuō)。“將它減少到每度 40 個(gè)像素，而不是 60 個(gè)，仍然被認(rèn)為是可以的。而對(duì)于 [Niantic] 的參考設(shè)計(jì)，我們嘗試了每度 30 個(gè)像素，只要用戶看不到像素之間的間隙，它仍然可以。”

大多數(shù) AR/VR 耳機(jī)的像素密度要低得多。Meta 的 Quest Pro 提供 22 PPD，HTC Vive XR Elite 提供 19 PPD，而 Microsoft HoloLens 2 引用 47 PPD（盡管有人對(duì)這個(gè)數(shù)字提出異議）。廣受贊譽(yù)的Varjo VR-3于 2021 年發(fā)布，零售價(jià)為 3,645 美元，實(shí)現(xiàn)了 70 PPD，但它采用“仿生顯示器”，結(jié)合了高分辨率對(duì)焦區(qū)域和外圍顯示器，實(shí)現(xiàn)了較低但仍然令人印象深刻的， 30 PPD。

“我覺(jué)得我們已經(jīng)有一些耳機(jī)幾乎達(dá)到了那個(gè)點(diǎn)，或者已經(jīng)過(guò)了一點(diǎn)，比如 Varjo 耳機(jī)，”Sag 說(shuō)。“所以我認(rèn)為 [Apple] 的分辨率已經(jīng)足夠高，以至于你無(wú)法看到像素。”

Apple Silicon 和注視點(diǎn)渲染分擔(dān)負(fù)載

Apple 令人難以置信的像素?cái)?shù)帶來(lái)了超出顯示器本身生產(chǎn)的挑戰(zhàn)。像素?cái)?shù)的任何增加都會(huì)增加渲染圖像所需的圖形性能，從而增加功耗和發(fā)熱。

每款 Vision Pro 耳機(jī)都將配備Apple 的 M2，其中包括單芯片上的 CPU、GPU 和 AI 加速器，以驅(qū)動(dòng)其顯示器和處理計(jì)算。然而，即使是 MacBook Air 等中檔 Apple 筆記本電腦中最常見(jiàn)的芯片 M2，如果被迫以全分辨率驅(qū)動(dòng) Vision Pro 的顯示屏，也會(huì)受到嚴(yán)重的負(fù)擔(dān)。

Varjo VR-3 清楚地說(shuō)明了這一點(diǎn)。與完全獨(dú)立的計(jì)算機(jī) Apple Vision Pro 不同，VR-3 不包括 CPU 或 GPU，而是用作 Windows PC 的顯示器。Varjo 推薦一系列配備英特爾酷睿 i7 和 i9 處理器以及 Nvidia RTX 3080 或 3090 顯卡的笨重高端筆記本電腦和臺(tái)式機(jī)。

Apple 使用全新的芯片Apple R1解決了這個(gè)問(wèn)題，它承擔(dān)了處理耳機(jī)攝像頭輸入的負(fù)擔(dān)。該數(shù)據(jù)的一部分用于注視點(diǎn)渲染，這是一種動(dòng)態(tài)改變分辨率以響應(yīng)用戶注視的技術(shù)。

“我認(rèn)為注視點(diǎn)渲染是一個(gè)非常非常重要的因素，它決定了實(shí)際使用了多少 GPU，以及它們需要多少顯示器才能以全分辨率運(yùn)行，”Sag 說(shuō)。“理論上他們可以使用注視點(diǎn)渲染來(lái)運(yùn)行顯示器，他們只在中間運(yùn)行全分辨率，其他一切都是較低的分辨率。”

Foveated 渲染并不是一個(gè)新想法——微軟的研究人員在十多年前就探索了這個(gè)想法——但直到最近才出現(xiàn)在Meta Quest Pro 和索尼的 PlayStation VR 2 等消費(fèi)類耳機(jī)中。它的稀有性是由于跟蹤用戶的困難問(wèn)題眼睛以確定他們的注意力集中在哪里。Apple 于 2017 年收購(gòu)了領(lǐng)先的眼動(dòng)追蹤解決方案供應(yīng)商 SensoMotoric Instruments (SMI)，迫使其他公司依賴更新的替代方案或設(shè)計(jì)內(nèi)部解決方案。

像素密度是增強(qiáng)現(xiàn)實(shí)的必備條件

對(duì)于喜歡 VR 而不是 AR 的發(fā)燒友來(lái)說(shuō)，Apple Vision Pro 中的顯示技術(shù)可能有點(diǎn)矯枉過(guò)正。“如果我們深入研究屏幕技術(shù)本身，最好的總結(jié)方法是，對(duì)于許多用例來(lái)說(shuō)，它并不重要，”空間計(jì)算顧問(wèn)兼“ Reality Check ”一書的作者Jeremy Dalton說(shuō)。Dalton 指出，大多數(shù)消費(fèi)類 AR/VR 耳機(jī)用于游戲、電影和完全身臨其境的 3D 體驗(yàn)。提高清晰度雖然很不錯(cuò)，但在Beat Saber中重?fù)羟炕蛱剿?Meta 的 Horizon Worlds 時(shí)并不是必需的。

蘋果有不同的受眾。它的演示沒(méi)有提到元宇宙，只是簡(jiǎn)單地提到了游戲。該公司轉(zhuǎn)而專注于視頻通話、攝影、辦公效率和 AR 娛樂(lè)。這些場(chǎng)景極大地增加了對(duì)分辨率的需求，因?yàn)橛脩魧⑼瑫r(shí)與真實(shí)和虛擬對(duì)象交互。

“他們絕對(duì)想支持直通用例。您需要使用顯示器向用戶展示他們自己的環(huán)境。這是至關(guān)重要的，”米勒說(shuō)。“為了創(chuàng)造這種體驗(yàn)，讓它變得可信，這是你需要所有這些高分辨率的最重要原因。”

極高的像素密度為有用的 AR 應(yīng)用程序打開(kāi)了大門，這些應(yīng)用程序不會(huì)增加上一代 AR 顯示模型的眼睛疲勞。

當(dāng)前的耳機(jī)無(wú)法提供真實(shí)感。我在 CES 2023 上試用過(guò)的HTC Elite XR提供了迄今為止我遇到過(guò)的最具吸引力的直通模式，但與現(xiàn)實(shí)世界的物體交互仍然很尷尬。Meta 的 Quest Pro 更沒(méi)有說(shuō)服力。為 The Verge 審查耳機(jī)的Adi Robertson抱怨說(shuō)“Meta 的顏色直通看起來(lái)與現(xiàn)實(shí)世界完全不同。”

“例如，當(dāng)您要提供高端培訓(xùn)時(shí)，高端屏幕最有意義。NASA 使用 Varjo 進(jìn)行宇航員訓(xùn)練，”Dalton 說(shuō)。Apple 沒(méi)有為宇航員打造 Vision Pro，但高密度像素在更平凡的任務(wù)中仍然有用，也是。宇航員需要敏銳的眼光才能看到和讀取航天器駕駛艙中的小儀表和刻度盤。其他人都需要它來(lái)舒適地閱讀印刷文檔或使用智能手機(jī)。

“我希望設(shè)備在這些場(chǎng)景中表現(xiàn)出色，”道爾頓說(shuō)。“生產(chǎn)力往往非常基于文本。觀看體驗(yàn)越好，壓力越小，你能堅(jiān)持的時(shí)間就越長(zhǎng)。”