今天我們將把視線延伸至XR。

XR的出現為新一輪人機交互帶來了豐富內涵，虛實相間的沉浸式體驗一直是產業共同努力的方向。那么“沉浸式”究竟指什么？我們離沉浸式的XR還有多遠？本期為你解答。

自計算機技術出現之后，人與硬件開始建立起交互的關系。站在人機交互的視角回看硬件發展的歷史，過去的50年，硬件的形態大致經歷了從游戲主機到個人電腦，再到智能手機的過程，分別對應的是垂直計算硬件、通用計算硬件，進而趨向小型化硬件的發展路徑。XR的出現為新一輪人機交互帶來了豐富內涵。

由XR技術和設備持續迭代所產生的內容-硬件-生態正向循環鏈，將我們帶到了元宇宙的入口處。對 XR 產業來說，支撐其發展的三大核心底層技術包括視覺和智能計算技術、大屏顯示技術和高速連接技術。

紫光展銳長期投入IP 集成能力、音視頻多媒體 IP 等核心技術，在5G/Wi-Fi 等通訊基礎、沉浸式大屏顯示所需的高動態（HDR）、廣色域（WCG）、高幀率（HFR）等方面擁有持續創新的先進技術。除產品研發外，紫光展銳深度參與了XR行業標準，并積極與生態合作伙伴為XR技術研究和產業推進作貢獻。

隨著產業生態各方融合創新的加速，XR及其涵蓋的關鍵技術能力逐漸融入消費級日常生活的方方面面。在市場蓬勃發展中，隨時隨地感知、傳遞信息，體驗虛實之間的多元世界離我們將不再遙遠。

XR是什么？

擴展現實技術（eXtended Reality，XR）包括了虛擬現實（Virtual Reality，VR）、增強現實（Augmented Reality，AR）、混合現實（Mixed Reality，MR）等多種形式。它將計算和AI技術、音視頻處理技術、仿真技術、通信技術等集于一體，通過模擬真實世界構建虛擬環境或創造全新的虛擬空間，帶來三維的沉浸感和多感官的虛擬交互體驗。

圍繞視覺沉浸感、物理沉浸感、認知沉浸感三方面，XR匯集了不同的數字技術，打造多維化的沉浸體驗。具體來說，視覺沉浸感依托于超高清顯示技術、超高軟硬件算力、高數據傳輸技術等支撐性技術，物理沉浸感旨在打破物理與數字空間的界限，包括多模態交互、空間計算、三維重建、定位與地圖構建等核心技術，認知沉浸感進一步拓展了XR對現實場景的語義與幾何理解，指向更多包括：腦機接口、裸眼3D、光場等未來發展前景廣闊的技術。

XR關鍵技術有哪些？

視覺質量是XR提供極致體驗的關鍵。人體所接收的80%的信息都來自于視覺感知，接近人眼的視覺體驗需要超高像素密度和合適的視場角FOV。其中像素密度取決于衡量圖像精細程度的圖像分辨率和顯示分辨率，高分辨率可以改善“紗窗效應”1，使得清晰度達到與真實世界無限接近的程度。視場角的大小影響到XR的沉浸感和清晰度，一般來說視場角越大，圖像需要渲染更多畫面，視覺沉浸感也就越強，相應也需要更高算力的支持。

人眼視場角范圍定義

多模態感知交互融合了面部追蹤、眼球追蹤、語音識別、手勢交互、觸覺模擬等多類技術，使人們能夠以最適合自己當前場景與業務流程的方式進行接入和交互。

以語音識別為例，不同場景下對設備語音識別和處理能力的要求不同。家居場景中，噪聲類型多、聲源位置復雜，拾音距離遠、信噪比差是提升用戶體驗優先考慮的問題；在游戲場景中，要強化音頻感知能力，結合AI降噪、AI增強等技術，增添臨場感……

從沉浸式體驗出發，紫光展銳推出了支持從清晰語音、高效視頻編解碼到超高清智能顯示，覆蓋智能終端領域全場景的音視頻系統方案，進一步推動XR產品與應用落地，實現從移動到沉浸式的體驗升級。

如首款搭載NPU的智能顯示芯片平臺M6780中，集成了完整端側智能語音方案，通過紫光展銳自研的多麥克風陣列音頻捕捉算法、智能語音喚醒、端側命令詞識別等技術，讓芯片可以聽得清、聽得懂、能執行。

5G催生XR豐富體驗

XR業務的流量特性，如非整數周期性、抖動、高速率、嚴格的包時延需求等，對通信系統的節能、容量等帶來了巨大挑戰。受手持設備、可穿戴設備的電池容量影響，終端的能耗優化也尤其需要考慮。在保障XR服務質量的前提下，實現節能和容量等方面的優化，將推動擴展現實應用更快落地。

5G技術支持高速率、低時延和高可靠性，同時基于XR流量特性也引入節能和容量優化機制，不僅滿足了XR業務的通信需求，更拓展了用戶使用場景，為用戶提供了更靈活的使用方式。結合AI、云計算等技術，沉浸式內容傳輸的效率和質量大大提升，用戶不再是信息被動接受者，而可以通過實時互動“主動”選擇和創造新的體驗。

從2018年開始，3GPP將XR作為5G標準中的重要內容，標準涵蓋了XR概念、關鍵技術、設備類型和性能指標等全面梳理。面向5G-A和6G，除了XR基礎業務場景的滿足，元宇宙其他更多場景的需求會變成重點，在感知+計算+網絡融合發展大趨勢下，實現最終“智能無所不及”的愿景。

3GPP TR26.928? 不同類型擴展現實技術及其應用

今天，我們已經可以在文娛展覽、工業制造、社交聊天、醫療手術等場景下感受到智能化的沉浸交互體驗。從長期行業發展看，目前的XR還需克服交互流暢性、響應速度、認知沉浸、內容生產等方面的諸多挑戰。但不可否認，借助技術融合性和普及廣度，XR技術的探索也會伴隨內容生態的擴容，滲透進更多元的場景，不斷為行業拓寬新的視野和商業市場空間。

備注：

“紗窗效應”是指由于顯示器分辨率的原因，人眼會直接看到顯示屏的像素點，就好像隔著紗窗看東西一樣。