從選擇合適的算力、冷卻系統，到將所有組件裝進一個很小的外殼中，同時還要降低成本，虛擬現實（VR）系統的設計人員面臨許多挑戰。最主要的挑戰也許是人機工程學，即確保用戶頭戴設備的舒適性。許多VR在設計中都考慮了外形尺寸，因為如果VR設備太重或使用中過熱，用戶根本就不會用它。

在Facebook從事Oculus VR產品開發的VR硬件產品經理Prabhu Parthasarathy認為，人機工程學在VR設計中“至關重要”，它需要硬件、軟件和技術的完美結合。

Parthasarathy說：“在設計任何產品時，我們都不會孤立地來看某個組件，而是從整體上考慮我們想要獲得的產品體驗，包括其獨特的用戶和用例。”

Parthasarathy同時也承認，只有當軟件和硬件結合時才會產生“魔力”。

“魔力表現在兩個方面，一是編寫軟件，使它提供魔法般的體驗，這是非常困難的部分；而另一部分則是要符合人體工程學，將一切都完美契合在設備中，讓用戶忘記硬件，感受虛擬世界。”

從頭說起

VR系統有幾種類型，從PC專用VR系統到VR一體機。PC專用VR系統中的頭戴設備是連接到PC的，所有游戲和圖形處理的繁重工作都由PC完成；而VR一體機則在頭戴設備中運行所有軟件。

Oculus VR就是VR一體機的典范。Oculus公司曾在2012年提出，要讓所有人都買得起VR。兩年后，Facebook以20億美元的價格收購了Oculus，盡管那時它只有一個頭戴設備原型。

Parthasarathy解釋道，Facebook看到了機會，他們認為，人們最終將只在虛擬的世界和社區中進行交流，人與人之間的聯系會自然發展到這種情形。

Oculus公司的第一款產品是PC VR系統，Oculus Rift，它讓用戶可以在PC上運行專為VR體驗而開發的游戲。使用這種系統，游戲開發人員就不會因為游戲大小或圖形種類而受到限制；借助外部傳感器，系統可以確定玩家在現實世界中的位置，并將其轉換至虛擬世界。

Oculus公司隨后推出了Oculus Go，這是該公司第一款不受限制的VR一體機。其軟件完全在頭戴設備中運行，但它受限于3自由度（DoF）方向追蹤。3DoF系統可以追蹤三個軸，在VR頭戴設備中，它可以檢測玩家向左/向右移動、或上下左右旋轉頭部的動作。

但是，它不能追蹤前進和后退，或者蹲下與站立。只有6DoF才能實現這些動作的追蹤，而這對系統軟硬件和成本都有很大影響。6DoF檢測六個軸上的位置：向前/向后、向左/向右和向上/向下。這樣的追蹤系統可能很復雜，需要額外的硬件和軟件，從而增加了成本。

Oculus Quest是該公司最近的創新產品，是其首款采用觸控控制器的6DoF VR一體機。它將之前的兩種系統很好地結合起來，需要硬件和軟件團隊之間的緊密合作。

VR系統組成

Parthasarathy以Oculus Quest VR系統為例，向我們綜合介紹了VR系統設計的關鍵元器件。

像許多產品一樣，計算系統的核心是處理器，Oculus的工程團隊選擇了高通移動芯片組驍龍835作為其計算系統的核心。驍龍835載有8個內核，時鐘頻率高達2.45 GHz，并配有Adreno 540 GPU。Oculus在設計該系統時使用了一個新型冷卻系統，CPU可以在更高的時鐘頻率下運行，從而優化了芯片性能。稍后我們再詳細介紹這個冷卻系統。

如果說處理器是系統的核心，那Oculus最大的亮點就是其追蹤系統。

為使追蹤工作正常進行，Quest設計師開發了Oculus Insight內向外追蹤系統，這是該公司最具競爭力也最具創新的部分。由于頭戴設備中的傳感器（攝像頭）能夠檢測到控制器的移動，用戶在現實世界中的動作才得以即刻反映在虛擬世界中。

Oculus Insight追蹤系統使用了大量來自慣性測量單元（IMU）、超廣角攝像頭和紅外LED的數據，以追蹤VR頭戴設備和控制器的6DoF位置。

Parthasarathy說，它是一個復雜的系統，由傳感器、IMU等硬件以及傳感器融合、計算機視覺算法等軟件組成。

Oculus Insight 內向外追蹤系統的核心是同步定位與地圖構建（SLAM），它利用計算機視覺算法“融合”由多個傳感器輸入的數據，以確定目標在不斷更新的數字地圖中的位置。它還使用其他傳感器數據，例如來自頭戴設備和控制器中IMU加速度和速度數據，這些數據在移動芯片組上進行實時處理。

Oculus Insight包含四個超廣角傳感器，用于分析頭戴設備的外部環境；它還采用計算機視覺算法來實時追蹤精確定位。該系統全方位追蹤玩家的移動，并精確定位兩個手持控制器和頭戴設備的位置。

Parthasarathy說：“Insight利用傳感器輸入的信息創建玩家環境的3D地圖，將玩家的位置移動精確地轉換至VR，同時確保玩家安全地置身游戲限定的空間邊界以內，從而獲得奇妙的沉浸式體驗。”

數字信號處理的優化包括地圖的異步更新，它根據用戶環境中背景的變化來更新地圖。IMU獨立運行，其輸出數據存儲在內存緩沖區中，以最大限度減少系統延遲。

接下來說說視覺系統，也就是顯示器和光學器件。Oculus在一些產品中采用了LCD技術， Quest則使用OLED技術。OLED顯示器可以提供72Hz的刷新頻率，以及1600×1440的每眼分辨率。Quest還提供鏡頭間距調節功能，以增加視覺舒適度。

Parthasarathy說：“要得到身臨其境的VR體驗，其關鍵因素之一就是鏡頭。Oculus Insight采用的菲涅耳透鏡非常特別，它可以根據頭戴設備的尺寸和形狀以及想要的各種體驗進行定制。”

“在為Quest這樣一個無線頭戴設備選擇合適的顯示屏時，我們考慮的是，功率要比較低，視覺效果還要出色，OLED顯示屏與我們的一流鏡頭相結合便可完美滿足這些要求。在Oculus Go中，我們也使用了相同的顯示屏。” Parthasarathy補充道。

再來說說無線器件。由于Oculus Quest是獨立系統，因此使用了Wi-Fi。除此之外，它還需要其他通信器件，特別是對于兩個手持式控制器，需要近乎實時地與頭戴設備進行通信。

實時功能是一個巨大的挑戰，它減少了將玩家在現實世界中的動作轉換至虛擬世界的延遲。

Parthasarathy說：“ VR的魔力在于，玩家在現實世界中的身體移動，幾乎可以即時呈現在虛擬世界中。如果現實世界中的動作與虛擬世界中所看到的動作之間存在時間差，當體驗太糟時玩家便會棄之不用。”

為了減少延遲，Quest設計人員開發了他們自己的協議，以實現控制器和頭戴設備之間的通信。藍牙低功耗（BLE）是延遲最小的協議之一，其延遲時間約為7.5ms，“與之相比，Quest頭戴設備與控制器之間的通信延遲時間約為2.5ms，這非常棒。”Parthasarathy表示。

再來說一說功率。Parthasarathy介紹，VR的一個關鍵是要帶給人們無阻礙的體驗，這意味著電池續航時間要足夠長，讓他們完成想做的事情。

這并不是說在設備中放一塊大電池就可以了，Parthasarathy 補充道，“我們必須使用容量足夠大的電池來提供這些體驗，但它又不能太重，以免降低設備的舒適性。”

Parthasarathy說Quest采用了定制電池組，但并未透露細節。可充電電池技術并不是什么獨特的技術，不過電池的大小必須符合頭戴設備的要求。

文檔顯示，Quest采用3648mA可充電鋰離子電池組，額定功率為14W。雙電芯電池的標稱電壓為3.6 V，重約70g。

Parthasarathy表示，Oculus主要使用現成技術，這通常需要設計人員與器件供應商緊密合作。無論是電池、顯示屏還是其他器件，為了滿足需求，通常還需要進一步定制。

例如，用于追蹤系統的許多元器件都是現成的器件，如紅外LED。但在其他情況下，還需要對器件（如IMU）進行一些調整。

Parthasarathy說：“我們采用的IMU通常也是現成的，但由于對追蹤的要求非常嚴格，所以有時候我們會去找供應商，在他們的產品規格90％都符合我們需求的情況下，請他們讓剩下的10％更加符合我們獨特的系統要求。我們并不想為每一個功能定制硬件，所以會盡量嘗試利用現成的元器件。”

他說：“Oculus Quest中沒有多少元器件可以拿來就用，找到供應商只說一句給我們一些零件，然后將它們集成到系統中，這樣是行不通的。通常，我們需要針對這些組件，例如光學器件和顯示屏，與供應商進行非常密切的合作。”

另一個例子是系統冷卻，這是VR系統的一大設計挑戰。Oculus Quest結合了風扇、散熱器和非常“新穎的架構”，實現了良好的散熱，從而避免設備發燙。

它采用主動式風扇冷卻系統來調節溫度，使Quest可以在高得多的時鐘頻率下持續工作，從而更有效地利用高通驍龍835 SoC。除主動式混合風扇技術外，該系統還包括一個熱管以及定制散熱通道。

一旦滿足了硬件要求，接下來的重要任務便是推動Oculus產品的軟件創新。 Parthasarathy提到，要創造更誘人的新體驗，首先要令硬件全面滿足性能指標，然后再利用軟件來進行突破。

“軟件創新可以幫助我們將硬件潛力發揮到極致，同時為玩家提供越來越好的體驗。” 他說，“這是我們關注的重點。”

Parthasarathy舉例說，最初在Rift S上提供的透傳（Passthrough+）功能，就可以讓玩家在VR里看到周圍環境的實時立體校正視圖。例如，玩家在戴著頭戴設備的情況下，能夠“透過”傳感器看清周圍的環境。

“在Quest上實現這一功能，得益于先進的高性能圖像處理和3D計算技術的支持。一旦超出游戲空間的邊界，Passthrough+即會開啟，確保玩家能夠輕松返回。”

整體權衡

人體工程學是一個重要的設計概念，在很多情況下，它與VR系統元器件的選擇密切相關。為了獲得最佳設計，要綜合考慮所有因素，對VR系統的所有關鍵元器件進行設計權衡與折衷。

Parthasarathy說，Oculus Quest設計實際上是要找到一種恰當的平衡，一方面要獲得完全沉浸式的體驗和舒適感，另一方面還要采用合適的硬件，使追蹤功能完善、電池壽命足夠長、顯示效果足夠好。

他說，試想一下，“你是想要一個戴在頭上的設備，還是想要一個具有同樣沉浸體驗的太陽鏡呢？恐怕每個人都想要太陽鏡這樣的設備。可惜的是，像太陽鏡這種大小的設備，不太可能在滿足處理、電池以及豐富的光學和顯示技術的同時還具有足夠的舒適度。”

Parthasarathy指出：“最大的挑戰并不是人體工程學本身，而在于要提供吸引人的體驗就必須考慮系統的方方面面。”

“如果只是想改善人體工程學很容易，就好像壓一下單側杠桿。但這樣做會影響設備的其他方面，因此，一切都要取得折衷。”

最初的VR是將所有東西都放在PC上，現在設計人員正嘗試不依賴PC的大功率、顯卡或大型冷卻系統，卻能獲得類似的體驗。

“為了在獨立式VR頭戴一體機中獲得類似的體驗，需要進行大量的工作，還需要非常獨特的技術，例如采用固定注視點渲染技術，我們可以巧妙地減少工作量，而開發人員卻能夠充分利用GPU制作出色的游戲。”Parthasarathy說。

“如果你問一問系統工程師就會知道，他們在冷卻、計算、幀率以及運行頻率之間進行了大量的折衷。”他說，“這種折衷太多了，我們會一點一點地減少。”

目前Oculus在努力改善圖形和游戲體驗，讓玩家享受與PC媲美的體驗。其最近的一項創新是系統中不再使用控制器。去年底，Oculus開發了一個SDK，玩家無需控制器或其他外圍設備，而是使用自己的雙手來控制，這是前所未有的游戲體驗。

Quest的計算機視覺團隊只需在Quest上使用單色攝像頭，再利用深度學習就能了解玩家手指的位置。Oculus解釋說，這項技術創建了一組3D點，可以準確呈現玩家在VR中的手和手指的移動。

在實現手勢追蹤時，軟件發揮了重要作用。Parthasarathy說：“通過軟件創新，我們可以開啟全新的輸入和交互模式，而無需任何新硬件。對移動芯片組來說，這是一個巨大的挑戰。”

“為了實現這一功能，我們的計算機視覺團隊開發了一種新方法，利用Quest內置的單色攝像頭，通過深度學習來了解玩家手指的位置，而不需要主動深度感知攝像頭、額外的傳感器或者處理器。”

“相反，將深度學習與基于模型的追蹤相結合，可以預測用戶手和手上各點的位置，然后在3D模型中重建用戶手和手指的‘姿勢’。”他說，“而這一切都在移動處理器中完成，不必耗用屬于用戶應用的資源。”

從長遠來看，VR設計師仍然面臨許多設計挑戰，例如設計外形更小、更舒適的頭戴設備，同時仍提供相同的VR體驗以及更長的電池壽命。其中有些是由用戶驅動的，例如，大約400至500美元的合理價位。

Parthasarathy說：“我們正努力尋找最有效的方法來持續改善用戶體驗，滿足用戶的需要，同時突破技術限制使之更易實現。我們可以用2500美元或3000美元的頭戴設備解決這些問題，但這并非我們的初衷。我們希望大多數人能用VR。”