搶先體驗(yàn) AI 微服務(wù)在云端提供的優(yōu)質(zhì)通信。

新版NVIDIA Maxine為實(shí)時(shí)音頻和視頻通信鋪平了道路。無(wú)論是參加視頻會(huì)議、致電客戶(hù)服務(wù)中心，還是進(jìn)行直播，Maxine 都能夠助您實(shí)現(xiàn)清晰明確的溝通，增強(qiáng)虛擬交互的效果。

NVIDIA Maxine 是一套由 GPU 加速的 AI 軟件開(kāi)發(fā)套件 (SDK) 和云原生微服務(wù)，用于部署經(jīng)過(guò)優(yōu)化和加速的 AI 功能，可達(dá)到實(shí)時(shí)增強(qiáng)音頻、視頻和增強(qiáng)現(xiàn)實(shí) (AR) 效果的目的。

借助 Maxine 的先進(jìn)模型，最終用戶(hù)無(wú)需使用昂貴的設(shè)備即可改進(jìn)音頻和視頻質(zhì)量。基于 NVIDIA AI 的技術(shù)使標(biāo)準(zhǔn)的麥克風(fēng)和攝像頭設(shè)備也能夠達(dá)到這些高質(zhì)量的效果。

在 GTC 上，NVIDIA 宣布為云原生微服務(wù)重新構(gòu)建 Maxine，并推出了 Maxine 音頻效果微服務(wù)的搶先體驗(yàn)版。此外，還推出了新的 Maxine SDK 功能，包括發(fā)言者聚焦和人臉表情估計(jì)，并正式推出了眼神交流功能。NVIDIA Maxine 現(xiàn)在還包含現(xiàn)有 SDK 功能的增強(qiáng)版。

Maxine 實(shí)現(xiàn)云原生

Maxine 的云原生微服務(wù)允許開(kāi)發(fā)者構(gòu)建實(shí)時(shí) AI 應(yīng)用。微服務(wù)可以獨(dú)立管理，并在云端進(jìn)行無(wú)縫部署，從而縮短開(kāi)發(fā)周期。

搶先體驗(yàn)版的 Audio Effects 微服務(wù)中包含四種先進(jìn)的音頻功能：

背景噪音消除：使用 AI 模型消除多種常見(jiàn)的背景噪音，同時(shí)保留說(shuō)話(huà)者的自然聲音。

房間回聲消除：使用 AI 模型消除音頻中的混響，恢復(fù)說(shuō)話(huà)者聲音的清晰度。

音頻超高分辨率：提高音頻信號(hào)的時(shí)間分辨率，改善音頻質(zhì)量。該功能目前支持 8 kHz 到 16 kHz 以及 16 kHz 到 48 kHz 的上采樣。

聲學(xué)回聲消除：消除輸入音頻流中的實(shí)時(shí)聲學(xué)設(shè)備回聲，從而去除不匹配的聲對(duì)和雙聲。借助基于 AI 的技術(shù)，Maxine 實(shí)現(xiàn)了比傳統(tǒng)數(shù)字信號(hào)處理算法更有效的回聲消除。

Pexip 是一家領(lǐng)先的企業(yè)視頻會(huì)議和協(xié)作解決方案提供商，正在利用 NVIDIA 的 AI 技術(shù)將虛擬會(huì)議提升到更高水平，為現(xiàn)代員工隊(duì)伍提供先進(jìn)的功能。

Pexip 戰(zhàn)略聯(lián)盟高級(jí)副總裁 Eddie Clifton 表示：“隨著 Maxine 向云原生微服務(wù)的轉(zhuǎn)化，我們能夠更加輕松地將 NVIDIA 的先進(jìn) AI 技術(shù)與我們獨(dú)特的服務(wù)器端架構(gòu)結(jié)合起來(lái)。這使我們的 Pexip 團(tuán)隊(duì)能夠?yàn)樘摂M會(huì)議提供更強(qiáng)的體驗(yàn)。”

探索 SDK 的增強(qiáng)功能

Maxine 提供了三款由 GPU 加速的 SDK，能夠通過(guò) AI 重塑實(shí)時(shí)通信的音頻、視頻和 AR 效果。

音頻效果 SDK 可提供多效果、低延遲，以及基于 AI 的音頻質(zhì)量增強(qiáng)算法。發(fā)言者聚焦是搶先體驗(yàn)版中的新功能，該功能能夠分離前景和背景發(fā)言者的音軌，使聽(tīng)眾能夠更加輕松地識(shí)別每種聲音。此外，還更新了音頻超高分辨率SDK 功能，使其具備更高的質(zhì)量。

視頻效果 SDK 會(huì)使用標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭輸入創(chuàng)建基于 AI 的視頻效果。虛擬背景功能已獲得更新，增強(qiáng)了時(shí)間穩(wěn)定性，該功能能夠分割個(gè)人形象并應(yīng)用由 AI 驅(qū)動(dòng)的背景去除、替換或模糊功能。

AR SDK 基于標(biāo)準(zhǔn)網(wǎng)絡(luò)攝像頭饋送，提供基于 AI 的實(shí)時(shí) 3D 面部追蹤和身體姿態(tài)估計(jì)。新功能包括：

眼神交流：通過(guò)預(yù)估和將視線(xiàn)與攝像頭對(duì)齊來(lái)模擬眼神交流。

人臉表情估計(jì)：追蹤人臉并推斷主體所呈現(xiàn)的表情。

更新了以下 AR 功能：

身體姿態(tài)估計(jì)：以 2D 和 3D 形式預(yù)測(cè)和追蹤人體的 34 個(gè)關(guān)鍵點(diǎn)，并且現(xiàn)已支持多人追蹤。

面部特征點(diǎn)追蹤：使用 126 個(gè)關(guān)鍵點(diǎn)來(lái)識(shí)別面部特征和輪廓。現(xiàn)已可使用“畫(huà)質(zhì)”模式來(lái)追蹤由于頭部運(yùn)動(dòng)和表情造成的頭部姿勢(shì)和面部變形（實(shí)時(shí)追蹤的自由度為 3 度），實(shí)現(xiàn)了更高質(zhì)量的跟蹤效果。

人臉網(wǎng)格：以高達(dá) 3000 個(gè)頂點(diǎn)和 6 個(gè)自由度的 3D 網(wǎng)格表示人臉，并且現(xiàn)在包括USC 創(chuàng)意技術(shù)研究所的 3D 可變形模型。

直接體驗(yàn) Maxine 的驚艷效果。

體驗(yàn)由 AI 的強(qiáng)大功能帶來(lái)的先進(jìn)效果

Maxine SDK 和微服務(wù)可為您提供一套低延遲的 AI 效果，且可與現(xiàn)有的客戶(hù)基礎(chǔ)設(shè)施進(jìn)行集成。由于 Maxine 的尖端 AI 功能的構(gòu)建以 NVIDIA AI 平臺(tái)為基礎(chǔ)，并且擁有領(lǐng)先的預(yù)訓(xùn)練模型，所以開(kāi)發(fā)者用戶(hù)可利用其來(lái)創(chuàng)建、定制和部署優(yōu)質(zhì)的音頻和視頻質(zhì)量功能。

Maxine 也是NVIDIA Omniverse Avatar Cloud Engine的一部分，NVIDIA Omniverse Avatar Cloud Engine 是一系列基于云的 AI 模型和服務(wù)，可供開(kāi)發(fā)者構(gòu)建、定制和部署交互式虛擬形象。Maxine 的可定制云原生微服務(wù)允許您在 AI 效果制作流程中進(jìn)行獨(dú)立部署。而且，您可以在本地、云端或邊緣部署 Maxine。

審核編輯：湯梓紅