VR講究的是沉浸感、交互性和構(gòu)想性。構(gòu)想性的關(guān)鍵在內(nèi)容設(shè)計(jì),而沉浸感和交互性的關(guān)鍵在硬件實(shí)現(xiàn)。要想實(shí)現(xiàn)完美的沉浸式體驗(yàn),就必須在虛擬世界里去感知真實(shí)世界的景象,而感知世界的最直接的就是視覺。雖然顯示技術(shù)前進(jìn)的步伐從未停止(從2D到3D,從1080P到4K),但是目前無論是LTPS,還是OLED,任何一個顯示技術(shù)都不能原原本本地還原真實(shí)世界的色彩,視頻圖像的處理及顯示技術(shù)成為了VR硬件的重中之重。
以O(shè)culusRift為例,OculusRift“GTX970/R9290顯卡+8GB內(nèi)存+OLED1080P顯示屏”的高配置目的就是最大程度解決視頻圖像的處理及顯示技術(shù),還原真實(shí)的世界。
AR講究的是現(xiàn)實(shí)世界的疊加虛擬世界,實(shí)現(xiàn)“虛實(shí)結(jié)合”,技術(shù)實(shí)現(xiàn)難度遠(yuǎn)大于VR。AR除了要求解決顯示技術(shù)(全息投影、透明顯示等)外,還要注重感知技術(shù)。因?yàn)椋珹R的感知不僅僅是對人輸入信息的感知,還包括對周圍環(huán)境的感知。AR只有感知周圍現(xiàn)實(shí)世界,才能將知道虛擬世界的圖像應(yīng)當(dāng)疊加到現(xiàn)實(shí)世界的哪個具體位置。
以微軟Hololens為例,Hololens通過激光雷達(dá)、光學(xué)攝像頭、深度攝像頭、慣性傳感器等各種傳感器獲取應(yīng)用場所的視覺信息、深度信息、自身的加速度和角速度等現(xiàn)實(shí)數(shù)據(jù),然后通過算法確定用戶位置和路面位置,從而地圖的構(gòu)建,并將處理的虛擬數(shù)據(jù)與探測的現(xiàn)實(shí)數(shù)據(jù)實(shí)時結(jié)合,形成動態(tài)“虛實(shí)結(jié)合”的畫面。這里面的硬件的關(guān)鍵在于顯示和感知,軟件的關(guān)鍵在于算法。
我們認(rèn)為,雖然中國大陸在電子產(chǎn)品硬件制造領(lǐng)域極具優(yōu)勢,但并不是VR/AR產(chǎn)品的所有硬件制造都有投資價值,只有上述論述的VR/AR關(guān)鍵硬件環(huán)節(jié)才值得投資。本章將重點(diǎn)分析VR/AR的關(guān)鍵元器件:視頻處理芯片、顯示屏、傳感器件、微投器件。
(一)VR/AR之芯片:出色的視頻處理才能帶來極致視覺體驗(yàn)
1、視頻處理芯片在VR/AR扮演關(guān)鍵角色
大部分VR體驗(yàn)者都會感覺到暈眩,它被認(rèn)為是VR走向主流的最大障礙。在VR/AR世界里,與傳統(tǒng)的視頻圖像處理技術(shù)不同,虛擬現(xiàn)實(shí)的視頻圖像處理是用于近似還原真實(shí)的世界,其對視頻圖像的渲染要求更為嚴(yán)格,因此對芯片運(yùn)算能力和圖像處理能力的要求更高,當(dāng)所有的信息以視頻化的方式呈現(xiàn)并放大數(shù)倍呈現(xiàn)于用戶眼前時,數(shù)據(jù)運(yùn)算能力與數(shù)據(jù)傳輸速度、屏幕刷新率便成為技術(shù)實(shí)現(xiàn)的重要瓶頸。
比如說,你將眼睛每秒鐘接收的信息數(shù)據(jù)化,可以想象這是多么大的數(shù)據(jù)量,這些海量數(shù)據(jù)又需要實(shí)時傳輸?shù)斤@示設(shè)備,讓用戶沉浸于VR世界,這需要多大的數(shù)據(jù)處理能力。而AR需要將虛擬世界的數(shù)據(jù)與現(xiàn)實(shí)世界的數(shù)據(jù)結(jié)合顯現(xiàn),它所需的算法、數(shù)據(jù)庫、應(yīng)用等等要求比VR要高出一個段位。VR設(shè)備工作時,需要將兩幅相同的高分辨率圖像(一幅圖片對應(yīng)一只眼睛)渲染成90FPS,同時保證電腦和虛擬現(xiàn)實(shí)系統(tǒng)之間的延時不超過20毫秒。一般顯卡渲染兩個1080p場景會非常吃力,再加上FPS和延時要求,一般顯卡已經(jīng)完全不能工作,甚至可以說,目前任何一款顯卡都不能完完全全地勝任VR完美體驗(yàn)。因此,視頻處理芯片是VR/AR流暢運(yùn)行的核心保障。
2、芯片廠商爭鋒,搶占VR/AR先機(jī)
虛擬現(xiàn)實(shí)被認(rèn)為下一個計(jì)算平臺,從PC時代的英特爾,到智能手機(jī)時代的高通,VR/AR領(lǐng)域或許也將誕生一些重量級的芯片平臺。目前各家廠商已經(jīng)開始搶占VR/AR市場先機(jī),其中以視頻處理芯片廠商占據(jù)了明顯優(yōu)勢。
NVIDIA&AMD:VR旗艦配置,GPU顯卡雙王推出VR解決方案
在VR旗艦產(chǎn)品OculusRift顯卡配置中,Oculus團(tuán)隊(duì)推薦配置NvidiaGTX970/AMD290級別或者更高的顯卡,該兩款顯卡都是NVIDIA和AMD各自廠商的高端產(chǎn)品。
2015年11月份,NVIDIA發(fā)布了GameworksVR(面向游戲開發(fā)人員)及DesignWorksVR(面向設(shè)計(jì)人員)兩種VR開發(fā)工具。用以降低延時率,加快立體渲染性能,從而提升VR沉浸體驗(yàn)。
2015年9月,AMD分拆的圖形芯片部門RadeonTechnologiesGroup,重點(diǎn)瞄準(zhǔn)了游戲和虛擬現(xiàn)實(shí)領(lǐng)域的機(jī)會。AMD推出了VR解決方案——LiquidVR,LiquidVR技術(shù)包含數(shù)據(jù)鎖定、異步著色引擎、多GPU異步渲染等全新功能,能夠以更低的延遲來實(shí)現(xiàn)更優(yōu)質(zhì)的畫面,提高VR的沉浸體驗(yàn)。
高通:CPU+新一代GPU,面向VR發(fā)力
2015年12月,高通發(fā)布了Snapdragon820。該芯片是高通首款定制設(shè)計(jì)的64位四核CPU,內(nèi)部集成了新一代GPU(型號為Adreno530),能夠呈現(xiàn)從立體攝像機(jī)實(shí)時拍攝的高清晰視頻,能夠識別圖片和場景中超過1000種不同的類別,保證虛擬顯示頭盔內(nèi)身臨其境的體驗(yàn)再一次進(jìn)化。
2015年,瑞芯微聯(lián)合ARM發(fā)布了旗下最新款芯片解決方案RK3288芯片,VR開發(fā)者可以基于RK3288,搭載ARMMaliT764GPU,針對安卓系統(tǒng)中所有2D游戲,無需對游戲圖形渲染架構(gòu)進(jìn)行的修改,用戶在體驗(yàn)時只要調(diào)用“3D游戲引擎”,RK3288就可以同時計(jì)算和渲染左右雙眼的圖像并顯示出來,達(dá)到極好的VR體驗(yàn)。騰訊已經(jīng)與瑞芯微展開了合作,騰訊miniStation游戲機(jī)搭載了RK3288芯片方案,也基于瑞芯微RK3288方案開發(fā)騰訊VR一體機(jī)。
全志科技在VR領(lǐng)域儲備已久,偶米科技的首款UranusoneVR一體機(jī)全志科技的H8芯片方案。該芯片支持8核心并能夠2.0GHz同時高速運(yùn)行,其4K的解碼能力支持高解析度的游戲與視頻。
視頻處理芯片在VR/AR中起到關(guān)鍵作用,關(guān)乎終端產(chǎn)品的運(yùn)行流暢性、系統(tǒng)延時性。國內(nèi)全志科技、瑞芯微在視頻處理芯片技術(shù)領(lǐng)先,中穎電子正在布局AMOLED驅(qū)動芯片,華為正在研發(fā)虛擬現(xiàn)實(shí)芯片。
(二)VR之顯示:AMOLED破解VR暈眩難題
1、讓你暈眩的VR背后是什么?
VR導(dǎo)致眩暈的因素之一是延時
隨著VR漸漸興起,國內(nèi)外眾多廠商紛紛加入VR陣營。體驗(yàn)過VR頭顯的朋友最深刻的感受就是暈眩甚至惡心、嘔吐,它被認(rèn)為是VR走向主流的最大障礙。
為什么我們會經(jīng)歷這種感覺呢?簡而言之,當(dāng)用戶使用VR頭顯的時候,全部視野都被VR頭顯所覆蓋,VR也極力欺騙你進(jìn)入虛擬世界,此時眼前一塊屏幕展示的畫面將給你強(qiáng)于普通畫面10倍的視覺感受。這種情況下,造成暈眩的因素主要有兩大點(diǎn):一是身體的運(yùn)動和視野中所觀測到的運(yùn)動不匹配;二是頭部運(yùn)動和視覺觀測到的頭部運(yùn)動的不匹配。而延時恰恰是導(dǎo)致不匹配的主要成因。
屏幕顯示延時是延時主因,而AMOLED顯示屏成最佳解決方案
延時包括屏幕顯示延時、計(jì)算延時、傳輸延時以及傳感器延時。其中屏幕顯示延時是VR設(shè)備延時的最主要因素,也即產(chǎn)生眩暈感的最重要因素之一,以O(shè)culusRift為例,OculusRift總延時為19.3ms,其中屏幕顯示延時13.3ms,延時占比達(dá)到69%。
降低屏幕顯示延時的最簡單方法就是提高刷新率,減少幀間延時,AMOLED的響應(yīng)時間是LCD的千分之一,顯示運(yùn)動畫面絕對不會有拖影的現(xiàn)象,恰恰是解決屏幕顯示延時的最好解決方案之一。資料來源:中國銀河證券研究部
此外,VR設(shè)備還可以通過降低余暉的方法來減少幀內(nèi)延時。LCD顯示屏的顯示原理是通過液晶翻轉(zhuǎn)來選擇性透過光線,而液晶翻轉(zhuǎn)的響應(yīng)時間最快也有2-4ms,而AMOLED每個像素都是主動發(fā)光的,可以做到低余暉,進(jìn)一步降低延時,減少眩暈。
目前,OculusRiftCV1和HTCVive采用了90hz刷新率,而SonyProjectMorpheus采用的是120hz刷新率,都是采用AMOLED顯示屏。
2、AMOLED廠商已為VR做好了準(zhǔn)備
AMOLED是有源矩陣有機(jī)發(fā)光二極體面板,它是自發(fā)光,不像LCD顯示屏采用了背光源。AMOLED具有更薄更輕、主動發(fā)光、無視角問題、高清晰、高亮度、響應(yīng)快速、能耗低、使用溫度范圍廣、抗震能力強(qiáng)、成本低和可實(shí)現(xiàn)柔性顯示等優(yōu)勢。
AMOLED屏幕主要用于部分高端智能手機(jī)上。相比于智能手機(jī)、PC、可穿戴電子設(shè)備,VR硬件產(chǎn)品出貨量尚少,遠(yuǎn)未進(jìn)入大眾應(yīng)用市場。以O(shè)culusRift消費(fèi)者版、SONYPlayStationVR等為代表的旗艦型產(chǎn)品需要等到明年才推出,預(yù)計(jì)將帶動VR產(chǎn)業(yè)進(jìn)入新的發(fā)展階段。根據(jù)ABIResearch預(yù)估,2015年VR產(chǎn)品出貨量預(yù)計(jì)在150萬臺左右,到2020年總配貨量達(dá)4300萬臺,5年復(fù)合增速將超過100%。從AMOLED顯示屏的角度來看,目前不僅VR產(chǎn)品出貨量少,而且只有高端旗艦型產(chǎn)品才采用AMOLED作為顯示屏,大多VR產(chǎn)品仍采用LCD顯示屏。但是,隨著Oculus、SONY等VR旗艦產(chǎn)品紛紛采用AMOLED,預(yù)計(jì)未來越來越多的VR產(chǎn)品也將采用AMOLED顯示屏。
此前,韓國擁有AMOLED生產(chǎn)的絕對壟斷權(quán),2012年韓國廠商在AMOLED產(chǎn)能的全球占有率為97.7%。而今,京東方、和輝光電、天馬的AMOLED生產(chǎn)線成功量產(chǎn),華星光電、國顯光電、信利國際、友達(dá)光電等廠商積極布局AMOLED生產(chǎn)線,全球壟斷格局才得以打破,但國內(nèi)的產(chǎn)能、技術(shù)仍落后于韓國。根據(jù)DIGITIMES預(yù)測,中國廠商AMOLED的全球產(chǎn)能占比從2013年的0增長至2015年的7.4%,國內(nèi)廠商AMOLED產(chǎn)能拓展迅猛。
VR硬件尚未爆發(fā),中國AMOLED廠商已做好準(zhǔn)備
盡管當(dāng)前VR產(chǎn)品出貨規(guī)模較小,但是面對未來可觀的市場前景,中國AMOLED廠商最好了進(jìn)軍VR產(chǎn)品的準(zhǔn)備。三星和SONY就不用多說了,它們在VR顯示屏的已經(jīng)快人一步國內(nèi)一些AMOLED廠商也加緊推出VR顯示屏。2015年7月,和輝光電點(diǎn)亮了世界第一片6寸4KAMOLED顯示面板,像素密度達(dá)到了734PPI,瞄準(zhǔn)了VR應(yīng)用領(lǐng)域。深天馬AMOLED產(chǎn)線也已經(jīng)點(diǎn)亮,公司在拓展手機(jī)廠商客戶同時也積極接洽VR產(chǎn)品廠商。
圖:全球AMOLED產(chǎn)能比重變化(含預(yù)測)
AMOLED是VR極佳的顯示屏,處于應(yīng)用爆發(fā)的前夜。但同時,AMOLED屬于重資產(chǎn)投資,順周期+產(chǎn)能領(lǐng)先非常重要,一旦格局形成后將不易被打破。目前,三星在中小尺寸AMOLED遙遙領(lǐng)先,LGD、SONY緊隨其后。
國內(nèi)的深天馬5.5代AMOLED生產(chǎn)線已經(jīng)點(diǎn)亮,即將批量供貨;和輝光電擁有1條4.5代和1條6代AMOLED產(chǎn)線,產(chǎn)能和技術(shù)在國內(nèi)領(lǐng)先。
(三)AR之顯示:微投影將虛擬融入現(xiàn)實(shí)
1、微投技術(shù)將為AR顯示扮演重要角色
光學(xué)式AR和視頻式AR是增強(qiáng)現(xiàn)實(shí)兩種顯示實(shí)現(xiàn)方式
AR顯示講究的是虛擬物體與真實(shí)世界的混合顯示,主要分為光學(xué)透視式顯示增強(qiáng)現(xiàn)實(shí)裝置(以下簡稱“光學(xué)式AR”)和視頻透視式顯示增強(qiáng)現(xiàn)實(shí)裝置(以下簡稱“視頻式AR”)。它們主要的區(qū)別在于真實(shí)環(huán)境的顯示方式,類似于單反相機(jī)的光學(xué)取景器與電子取景器的區(qū)別。
光學(xué)式AR是把光學(xué)融合器放置在用戶眼前,該融合器是部分透光的,用來直接獲取真實(shí)環(huán)境的信息,同時部分是反射的,用來由投影儀將虛擬物體投射到融合器上再反射到用戶眼里。光學(xué)式AR對真實(shí)環(huán)境幾乎是無損顯示,真實(shí)場景幾乎完整地呈現(xiàn)給用戶,所獲得的信息可靠全面,但是也使得真實(shí)環(huán)境與虛擬環(huán)境的融合變得困難,代表產(chǎn)品如googleglass和微軟的hololens。
視頻式AR是用封閉的視頻頭盔與兩個視頻攝像機(jī)結(jié)合到一起,視頻攝像機(jī)為用戶獲取真實(shí)環(huán)境的信息,然后將真實(shí)環(huán)境信息與虛擬物體信息同時合并到顯示屏上。視頻式AR是通過對真實(shí)環(huán)境的復(fù)現(xiàn),然后在與虛擬圖像進(jìn)行融合,實(shí)現(xiàn)會容易得多,但真實(shí)環(huán)境的顯示受多種因素干擾而存在一定的失真。
由于視頻式AR的顯示器是由顯示屏近眼來實(shí)現(xiàn)的,屬于沉浸式體驗(yàn),這與VR的顯示屏沒有區(qū)別,以AMOLED顯示屏為優(yōu)選。再加上,無論此前的GoogleGlass還是現(xiàn)今的MicrosoftHoloLens都是以光學(xué)式AR為主流,本節(jié)主要討論光學(xué)式AR的顯示器件。
微投影承擔(dān)著光學(xué)式AR的核心顯示功能
光學(xué)式AR的顯示主要靠投影器件將虛擬物體視頻源投射到半透半反的光學(xué)棱鏡上,進(jìn)而與真實(shí)環(huán)境相融合。微投影器件是光學(xué)式AR的核心,承擔(dān)了將虛擬物體疊加到真實(shí)環(huán)境顯示的功能。
在消費(fèi)娛樂領(lǐng)域,光學(xué)式AR的先驅(qū)GoogleGlass采用微投影作為顯示技術(shù),通過一個微型投影儀加上棱鏡來實(shí)現(xiàn),棱鏡一方面將微投發(fā)出的圖像投射到視網(wǎng)膜上,另一方面又將圖像疊加到現(xiàn)實(shí)場景,展現(xiàn)在用戶面前的是一個疊加圖案。而今被寄予厚望的MicrosoftHoloLens采用DLP投影技術(shù),采用一個半透玻璃,從側(cè)面DLP投影顯示,與Espon的眼鏡顯示器或GoogleGlass方案類似。
此外,在專業(yè)的增強(qiáng)現(xiàn)實(shí)領(lǐng)域,投影儀也扮演著重要角色。車載抬頭顯示(HUD)大大改善了汽車駕駛體驗(yàn),微型投影儀將導(dǎo)航信息直接投射在駕駛者前方,用戶無需轉(zhuǎn)移視線去關(guān)注中控平臺顯示屏上的導(dǎo)航信息,提升了駕駛安全性。飛機(jī)抬頭顯示(HUD)可以將飛行和作戰(zhàn)信息提取后,由微型投影儀將影像信息投射到駕駛員前方的玻璃上,提高了飛行安全性和作戰(zhàn)能力。
DLP和LCOS將成為增強(qiáng)現(xiàn)實(shí)兩種主流微投技術(shù)
投影技術(shù)主要包括LCD投影技術(shù)(液晶投影機(jī))、DLP投影技術(shù)(數(shù)字光學(xué)處理器投影機(jī))和LCOS投影技術(shù)(反射式液晶投影機(jī))。
LCD投影機(jī)利用金屬鹵素?zé)艋騏HP(冷光源)提供外光源,將液晶板作為光的控制層,通過控制系統(tǒng)產(chǎn)生的電信號控制相應(yīng)像素的液晶,液晶透明度的變化控制了通過液晶的光的強(qiáng)度,產(chǎn)生具有不同灰度層次及顏色的信號,顯示輸出圖像。
DLP技術(shù)由由德州儀器公司研發(fā)(專利為德州儀器公司擁有),采用微鏡反射投影技術(shù),在投影效果上,亮度和對比度明顯提高,體積和重量明顯減小。
LCOS投影機(jī)的基本原理與LCD投影機(jī)相似,只是LCOS投影機(jī)是利用LCOS面板來調(diào)變由光源發(fā)射出來欲投影至屏幕的光信號。
DLP投影系統(tǒng)的核心是DMD數(shù)字微鏡設(shè)備芯片,其主要特性是投影效果佳,延遲少。
一塊DMD通常有多達(dá)130萬個鉸接安裝的微鏡組成的矩形陣列,每個微鏡比頭發(fā)絲的1/5還小,一個微鏡對應(yīng)一個像素,可以單獨(dú)調(diào)制的,與色序照明同步,以生成出令人驚艷的顯示效果,目前投影像素已從7.5微米降低到5.4微米,亮度從50lm提升到200lm。此外,DLP投影在利用圖像追蹤用戶動作的視頻游戲等應(yīng)用中,其產(chǎn)生的圖像延遲性極低在輸入幀率為120hz的情況下顯示延遲僅為8.33ms,這也是增強(qiáng)現(xiàn)實(shí)視頻圖像顯示亟待解決的問題。DLP投影的種種特性使之適合于無屏電視顯示領(lǐng)域(微投影)和可穿戴顯示(沉浸式)領(lǐng)域。德州儀器向微投影市場推出了DLPPico0.47英寸TRP全高清1080p芯片組,適用于微投產(chǎn)品和沉浸式顯示應(yīng)用,特點(diǎn)是尺寸更小,更適用于VR/AR應(yīng)用
LCoS屬于新型的反射式微型LCD投影技術(shù)(體積比LCD投影小得多),其主要特性是功耗低、生產(chǎn)難度低,更適用于移動應(yīng)用。
它是在液晶LCD的基礎(chǔ)上改造發(fā)展起來的,采用反射式投射,較少了液晶面板中的晶體管電路層阻擋的部分光線,因此光利用效率可達(dá)40%以上,遠(yuǎn)高于LCD投影的3%,可以大幅節(jié)省耗電。此外,LCoS投影還可以利用CMOS制作技術(shù)來生產(chǎn),無需額外的投資,可隨半導(dǎo)體制程快速的微細(xì)化,逐步提高解析度。因此,DLP投影和LCoS投影非常適合增強(qiáng)現(xiàn)實(shí)的所需要的低功耗、微型化的要求。
蘋果不會放過微投影這個關(guān)鍵角色
2015年12月,蘋果近期獲得一項(xiàng)名為“自適應(yīng)投影儀”的專利。從描述中可以看出,該投影儀上的攝像機(jī)能掃描房間、辦公司等周遭環(huán)境,然后建立空間的數(shù)字模型,并檢測出能支持圖像投射的物面載體。該投影儀可以實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)功能,可以改變用戶所看見的場景。
這種投影儀可作為頭戴式設(shè)備或者獨(dú)立裝置工作,能將電子書、電影等數(shù)字內(nèi)容投射到真實(shí)世界中的物面載體上,可在用戶讀書時提供和電子書類似的高亮功能,甚至可以提供電子書購買服務(wù),改善生活體驗(yàn)。
我們暫不能判斷蘋果將采用何種微投方案,但巨頭的布局反映了微投的關(guān)鍵性。
2、DLP技術(shù)TI一家壟斷,LCoS技術(shù)參與商較多
DLP技術(shù)的核心在于DMD芯片,而DMD芯片的生產(chǎn)被德州儀器壟斷生產(chǎn),因此要想生產(chǎn)制造DLP微投影器件繞不開德州儀器的支持。德州儀器向微投影市場推出了DLPPico0.47英寸TRP全高清1080p芯片組,擁有“全高清分辨率、畫面清晰、緊湊型結(jié)構(gòu)適用于各種尺寸的用戶終端設(shè)備”和“低功耗、適用于電池供電設(shè)備,例如便攜式投影機(jī)和可穿戴式設(shè)備”兩大關(guān)鍵特性,非常適用于微投產(chǎn)品和沉浸式顯示應(yīng)用。
與DLP技術(shù)由TI一家公司壟斷相比,LCoS的芯片商相對來說就比較多,參與商也較為活躍。
3M公司:提到LCoS技術(shù),不得不提美國3M公司,2008年3M公司發(fā)布全球首款光學(xué)引擎,成為LCoS技術(shù)的一面旗幟。此外,3M公司在液晶偏振光控制上處于長期領(lǐng)先地位,并開發(fā)出了PBS(PolarizingBeamSplitter)偏振控光元器件,可以使同性能的LCoS光引擎減少體積30%以上,對比度大幅提高,工藝復(fù)雜性大大降低。
美光:美光通過收購Displaytech獲取FLCOS微型顯示投影技術(shù),F(xiàn)LCOS微型顯示技術(shù)的優(yōu)勢在于轉(zhuǎn)換速度快,最高速度比傳統(tǒng)的LCOS技術(shù)快100倍。2009年,美光推出了單芯片微型顯示屏,該微型顯示屏采用FLCOS技術(shù),是一種尺寸為VGA四分之一的寬屏(WQVGA)微型顯示解決方案,具有功耗低、圖像質(zhì)量好、尺寸小的特點(diǎn),支持頭戴式顯示器產(chǎn)品和嵌入式手機(jī)投影儀等應(yīng)用,實(shí)現(xiàn)便攜式視頻與圖像投影功能。
(四)VR/AR之傳感器:人機(jī)交互的核心
1、傳感技術(shù)是VR/AR人機(jī)交互的核心
無論是VR還是AR,都強(qiáng)調(diào)用戶的交互性,離不開傳感器。傳感器就是VR/AR的五官,而且VR要想制造身臨其境的感覺,AR要想實(shí)現(xiàn)虛擬世界與現(xiàn)實(shí)世界無縫銜接,它們都對傳感器提出了更高的要求。
與智能手機(jī)等傳統(tǒng)智能硬件相比,VR/AR產(chǎn)品的種類眾多,大致包含體視覺傳感技術(shù)、體感識別技術(shù)、眼球追蹤技術(shù)、觸覺反饋技術(shù)等,它們傳感器通過人體動作追蹤,對周圍位置環(huán)境感知,進(jìn)而對用戶形成動作反饋,從而完成用戶在視覺、聽覺、觸覺、嗅覺的全部人體感知體驗(yàn)。
在VR/AR產(chǎn)品中,除了擁有智能手機(jī)里面已經(jīng)存在的加速度傳感器、磁力傳感器、光線傳感器等普通傳感器外,我們應(yīng)當(dāng)重視VR/AR中關(guān)鍵的傳感器件。
體感識別:激光雷達(dá)、攝像頭在位置追蹤中扮演重要角色
體感識別是VR/AR最重要的交互技術(shù)。人體動作是用戶與設(shè)備之間交互的最基礎(chǔ)的信息輸入方式,設(shè)備通過捕捉人體動作的位置,識別人體動作的類型,從而對輸入的信息進(jìn)行處理,進(jìn)而對用戶反饋輸出信息。要實(shí)現(xiàn)體感交互,首先需要位置傳感器識別用戶自身所處的環(huán)境,然后需要捕捉用戶的動作進(jìn)行信息反饋。
提到體感識別與交互,不得不提微軟的Kinect、索尼的PSMove、任天堂的Vii,它們都是體感交互產(chǎn)品的先驅(qū)。其實(shí)現(xiàn)手段主要包括慣性感測、光學(xué)感測以及慣性和光學(xué)聯(lián)合感測。
以微軟的Kinect為例,Kinect系統(tǒng)主要包括轉(zhuǎn)動電機(jī)系統(tǒng)、音頻采集系統(tǒng)和視頻成像系統(tǒng),通過CMOS紅外傳感器感知周圍環(huán)境,形成環(huán)境景深圖像,并通過相關(guān)指令完成對用戶身體某一部位的簡單3D模型采集。之后在模型匹配中完成對骨架追蹤,從而識別用戶所采取相關(guān)的交互動作。在微軟Kinect的體感識別與動作捕捉過程中,Kinect的三個攝像頭極為關(guān)鍵,一個彩色攝像頭提供了彩色圖像;兩個紅外攝像頭通過發(fā)射/接收紅外線,來提供深度數(shù)據(jù)。
微軟的Kinect的體感識別交互方式是典型的代表,我們認(rèn)為攝像頭是體感識別的重要載體,結(jié)合視頻圖像算法可以實(shí)現(xiàn)良好的體感交互功能。很多VR/AR產(chǎn)品都采用攝像頭作為體感識別的關(guān)鍵元器件,應(yīng)當(dāng)積極關(guān)注攝像頭廠商在虛擬現(xiàn)實(shí)產(chǎn)品的應(yīng)用。
Valve軟件公司是一家專門開發(fā)電子游戲的公司,也是超強(qiáng)的內(nèi)容生產(chǎn)商和平臺服務(wù)提供商。Valve進(jìn)軍虛擬現(xiàn)實(shí)領(lǐng)域并開發(fā)了SteamVR系統(tǒng),其最有特色的功能就是基于Lighthouse激光追蹤系統(tǒng)來實(shí)現(xiàn)房間追蹤。Lighthouse激光追蹤率先被應(yīng)用在HTC和Valve聯(lián)合推出的Vive虛擬現(xiàn)實(shí)頭盔上,該設(shè)備集成了44個位置追蹤傳感器,并且在墻上放置兩顆激光傳感器,通過激光追蹤運(yùn)動系統(tǒng)獲得佩戴者的位置和方向信息,可以再特定環(huán)境下準(zhǔn)確追蹤用戶的移動,其用戶的移動空間可達(dá)4.5米。
OculusRiftDK2內(nèi)置了很多位置跟蹤傳感器,原理是在機(jī)身前部上集成幾個紅外燈,發(fā)射的紅外信號到接收器,接收器安裝到顯示器上方,或者固定在三腳架上,其空間移動距離1.5米,用戶必須處于紅外攝像頭的可視范圍內(nèi)可以實(shí)現(xiàn)實(shí)時位置追蹤。
2、各大廠商已經(jīng)加緊布局傳感技術(shù)
傳感技術(shù)是VR/AR人機(jī)交互的核心手段,其重要性不言而喻。目前虛擬現(xiàn)實(shí)巨頭在加緊發(fā)展終端設(shè)備的同時,也積極布局傳感技術(shù),以期待虛擬現(xiàn)實(shí)產(chǎn)業(yè)鏈上占據(jù)關(guān)鍵環(huán)節(jié)。
從各大巨頭的布局來看,微軟掌握了深度傳感器Kinect;蘋果收購了深度傳感器PrimeSense,并且在軟件上收購了FaceShift和Metaio,可配合PrimeSense進(jìn)行傳感技術(shù)深度布局;索尼收購了收購比利時傳感器技術(shù)公司SoftkineticSystemsSA,擁有全世界最小帶精細(xì)化手勢識別功能的3D深度攝像頭;谷歌收購了LumedyneTechnologies,掌握了光學(xué)加速度計(jì)、振動能量采集器、基于時域相應(yīng)的慣性傳感器等傳感技術(shù),此外谷歌的無人駕駛系統(tǒng)整合了聲吶系統(tǒng)和雷達(dá)系統(tǒng),將傳感器應(yīng)用發(fā)揮到了極致;Facebook收購了Oculus平臺,并在軟件上收購SurrealVision,在室內(nèi)三維重建領(lǐng)域技術(shù)領(lǐng)先。
此外,國內(nèi)廠商也積極切入虛擬現(xiàn)實(shí)傳感器領(lǐng)域。
中科院寧波材料所所屬二級所先進(jìn)制造所的計(jì)算機(jī)視覺實(shí)驗(yàn)室利用全景成像技術(shù)成功研制了“虛擬現(xiàn)實(shí)視覺傳感器”。曼恒數(shù)字成功自主研發(fā)了光學(xué)位置追蹤產(chǎn)品G-motion,實(shí)現(xiàn)虛擬與真實(shí)世界互動。
傳感器相當(dāng)于VR/AR的五官,起到人機(jī)交互核心的功能。以微軟、蘋果、Facebook、索尼、谷歌為代表的科技巨頭都在該領(lǐng)域加緊布局,凸顯了其重要性。激光雷達(dá)是VR/AR位置傳感器的核心基礎(chǔ)器件,攝像頭是捕捉動作,實(shí)現(xiàn)深度傳感的基礎(chǔ),它們在VR/AR中扮演重要角色。
評論
查看更多