要讓人完全忘記現實沉浸在VR內容中,畫質和音效二者缺一不可。從刷新率到頭部追蹤延遲,從視場角到分辨率,VR畫面的精細程度和觀看時的舒適度不斷被新技術拔高。但在視覺上感覺身臨其境還遠遠不夠,即使VR內容畫面逼真到以假亂真的地步,如果搭配的音效不給力,也無法避免會產生出戲的感覺,因此VR還必須“聲”臨其境。
不同于傳統音頻(聲源有固定焦點),VR音頻必須實時配合實際畫面的環境變化,配合720°全景VR,有精確的方向感和距離感,做到與現實中人們聽到聲音后的反應無異,才能真正讓用戶保持極高程度的沉浸感。在本次CES2019中,世界頂級聲學研究公司Dirac Research AB 就帶著其沉浸感極強的Dirac 3D Audio技術亮相展示。
陀螺君在現場體驗了Dirac全景聲,并采訪了Dirac的事業部總經理Lars Isaksson,向其詳細了解了Dirac 3D音頻技術的相關情況。
“全景聲”是什么?
相比于VR的視覺領域,大家對于VR音頻的了解知之甚少。在此,陀螺先為大家簡單科普一下常說的立體5.1聲道、7.1聲道和全景聲的定義,以方便大家對后續采訪內容的理解。
要弄清這個問題,我們先來回顧音頻技術的發展軌跡:從單聲道、立體聲、5.1、7.1一直到22.2,我們一直在靠增加音箱數量來將聲場還原得更逼真。一套音響設備會因聲道不同而呈現出不同的音響效果,目前主流音響市場上有5.1聲道和7.1聲道兩種:
5.1聲道:在環繞聲的基礎上,將環繞聲道一分為二,分為左環繞和右環繞。銀幕前方還有左聲道、右聲道,再加上中央聲道和0.1聲道的重低音聲道,由此得名5.1聲道,如下圖所示:
7.1聲道:在5.1聲道的基礎上,將環繞聲道一分為四,有了左側環繞(藍色)、右側環繞(粉色)、左后環繞(黃色)和右后環繞(綠色),比5.1多了2個聲道,由此得名7.1聲道,如下圖所示:
盡管由5.1聲道和7.1聲道呈現出的音響效果與之前三個音箱的立體聲相比已經有了質的飛躍,但前后左右聲場不足以還原方位感和空間感,于是“全景聲”概念應運而生——即讓聲音全方位環繞聽眾,讓聽眾聽到聲音后做出與現實無異的反應。例如,當影片畫面中有飛機飛過頭頂,就應該感覺到頭頂有飛機飛過的聲音;當有人在后方說話,就應該感覺到聲音是從后方傳來。
在影院中一般通過在天花板添加揚聲器的方式實現全景聲,達到全包圍的聲場。在現實中,無論是5.1還是7.1聲道,都是通過增加音箱來加強聲音的立體感,是基于人體處于固定的位置、有特定朝向的前提下實現的。在現實的三維空間中,當我們的頭部發生轉動或位移,聲源本身的絕對位置不會改變,而聲源與頭部相對方向會產生變化。在VR中,720°的畫面是實時變化的,用戶的姿勢和朝向隨時都可能變化,想要保持不出戲,聲音也必須和環境保持同步變化。因此,要在VR中實現全景聲并不容易。
簡單了解了全景聲之后,陀螺君來說說現場體驗Dirac全景聲的感受。
在本次CES2019中,Dirac 搭配了三星Gear VR頭顯和電競游戲耳機TRITTON Kunai Pro兩種形式來展示其在耳機中實現的3D全景聲。陀螺君在現場親耳體驗了一把“聲”臨其境的感覺。
(左:三星Gear VR 右:TRITTON Kunai Pro耳機)
陀螺君現場試戴的耳機對5.1.2聲場的模擬,跟前文提到的5.1不同,2是指有兩個揚聲器是放在頭頂位置的,這也是頭頂聲音方位感的來源。戴上VR頭顯后,當切換到全景聲的時候,可以很明顯地感知到聲音的方位和距離,即使轉動方向,聲源的位置也不會有變化。陀螺君還了解到要通過Dirac技術實現耳機中的全景聲,可以在不同的設備上植入Dirac的算法,比如耳機、電腦、頭顯等。
據Isaksson介紹,Dirac全景聲的實現依托的是其正在申請專利的動態HRTFs技術。
Dirac用動態HRTFs技術合成模擬了5.1或7.1的聲場效果,并對搭配使用的耳機進行了優化。Dirac在耳機頭頂位置添加了兩個揚聲器,創造出了頭頂環繞感,精確定位頭頂聲音的位置,能夠實現一些非常復雜精細的效果。這樣一來,戴上耳機后,會感覺到聲音不僅從左右傳來,還可能精確地辨別出聲音是左后、右后等位置發出,也能感受到天空中的音源。而實際上,Dirac的這個技術并非是基于聲道的,而是360度,也就是說,可以讓聲音在3D空間中任何一個點上發出。
聲學領域沉淀半個世紀,
Dirac為何要切入全景聲
全景聲本身并不是新奇的概念,令人稱奇的是如何做到Dirac這樣音質無損的同時還能精準定位。Dirac這個VR音頻領域中的新玩家憑什么做到這一點呢?
其實,Dirac看起來是個VR青銅玩家,其實人家早已經是“王者”級別了。
Dirac Research AB公司成立于2001年,由瑞典烏普薩拉大學(Uppsala University)的幾位教授和博士生共同創立,兩年前成立VR/AR部門。但在早創立之前,幾位教授們就已經在聲學領域潛心耕耘了幾十年,奠定了Dirac深入骨髓的聲學基因。Dirac公司創立之后,憑借著豐富的研究經驗和前沿的技術,在音頻市場上早已有口皆碑。音質、優化和聲場模擬是Dirac三大研究領域,其聲學技術處于世界領先地位。
Isaksson介紹了在公司創立之初,Dirac從事于Hi-Fi(High-Fidelity,高保真)與高端汽車結合的業務,與多家汽車業巨頭合作,如沃爾沃、賓利、寶馬、比亞迪、勞斯萊斯等,為Dirac在移動類設備中的音頻優化技術打下了夯實的基礎,累積了豐富的經驗。
Isaksson提及Dirac3D Audio技術所使用的3D空間引擎,正是脫胎于Dirac一直專注的汽車聲場合成和優化技術:
“在汽車里面聽聲音是車廂的感覺,但用戶想要的是如影劇院一般的效果,這通過聲場處理和聲場模擬就可以實現。在耳機中實現不同聲場所使用的技術,其實源于Dirac在汽車領域所使用的聲場合成和模擬技術。沃爾沃XC90系列采用就是Dirac聲音優化技術DiracUnison,一鍵讓你穿越到哥德堡音樂廳(瑞典國家交響樂團演出主場),能聽到效果如同真正置身于歌劇院一樣。”
Dirac全景聲之所以能實現,動態HRTFs技術是其中的大“功臣”。動態HRTFs突破了傳統VR音頻的制作方式,具有諸多優點。
前文已經提到,VR音頻行業目前的主流技術是靜態HRTFs(頭相關傳輸函數)技術。這種傳統方法假定,當移動身體時,頭和四肢是同時轉動的。可是,在現實中,頭和四肢的動作往往并不是同時進行、同一方向的,單獨的頭部微小動作可以幫助我們更好地定位聲音。傳統的靜態HRTFs技術除了建模與現實相違和之外,HRTF數據的采集耗時耗力的同時也無法保證高精度。
首先,Dirac的動態HRTFs彌補了傳統靜態HRTFs的建模缺陷,將頭部相對于四肢的細微動作和具體位置都考慮進去,提升了VR音頻的定位和音質。其次,Dirac VR采用更先進和精確的HRTF測試收集方式,通過樣本采集,生成一個通用的高精度HRTFs模型。在這樣的雙重作用下,聲音定位精確還原,確保了聲音還原誤差極小,讓聲音真正實現3D沉浸感的同時,還不會造成聲音失真。
可以說Dirac逼真的全景聲=熟練的聲場模擬技術+先進的動態HRTFs技術+經驗豐富的耳機優化技術,這也是Dirac全景聲與其他VR音頻公司產品的不同之處。
Dirac全景聲在VR/AR中的場景應用
已經在聲學領域達到“王者”級別Dirac開啟了 VR/AR領域的副本,有著幾十年的聲學研究和技術沉淀,陀螺君認為Dirac的全景聲能夠與VR/AR內容完美融合。Isaksson就在采訪中提出了Dirac目前看好的幾個應用場景:
1、全沉浸式的VR/AR游戲全景聲
目前,Dirac已經和游戲引擎公司達成合作,游戲開發人員可以直接在游戲引擎中進行后期編輯,在游戲中添加全景聲效果。有了全景聲,能夠清楚聽到后方敵方的腳步聲,能夠感受到頭頂飛機略過的聲音,能夠根據聲音推斷出敵方的遠近。還能因墻體的材質不同而編輯不同音效,從而讓玩家產生自己的確身處這一空間的錯覺。
2、VR影視
全景聲一開始便服務于影院,Dirac全景聲與VR影視的結合可謂理所當然。與傳統電影不同,VR影視有著獨特的觀影視角,有時候觀眾以第一人稱代入影片之中,觀眾本人仿佛“附身”在主角上,跟隨主角一起行走、跑動、說話,整個畫面為觀眾營造出一種“我就是主角,主角就是我”的錯覺。但如果此時的音效沒有空間感和方位感,那么即使觀眾在畫面層次上非常入戲,沒有全景聲的加持,觀眾的沉浸感也無法持久。
3、遠程會議
Isaksson還特意提及了另一大應用領域:實時遠程會議。隨著分工全球化,如今的跨國公司越來越多,身處各地的同事們如果要開個工作會議,進行線下會面耗時耗力,成本高昂。而目前的虛擬遠程會議在畫面上能做到實時呈現,但彼此的聲音卻并不能達到逼真的效果,導致遠程會議效果不佳。此時如果全景聲技術能與AR技術相結合,應用在虛擬遠程會議中,會議的效果應該會非常不同。
對于在VR/AR中實現全景聲的成本問題,Isaksson說:“Dirac一般會直接和硬件廠商合作,用戶不會通過應用的方式來下載,所以用戶的使用成本不會太高。”
Dirac作為世界頂級聲學研究公司,在聲學研究方面的能力不容置喙。眼看著VR視覺領域的一路高歌猛進,陀螺君也非常期待VR音頻的突破和創新。
-
音頻技術
+關注
關注
1文章
138瀏覽量
24636 -
vr
+關注
關注
34文章
9633瀏覽量
150057 -
VR頭顯
+關注
關注
1文章
259瀏覽量
26613
原文標題:【專訪】瑞典頂級聲學公司Dirac:如何讓VR真正做到“聲”臨其境?
文章出處:【微信號:vrtuoluo,微信公眾號:VR陀螺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論