2020 年 11 月 19 日，第四屆 EmTech China 全球新興科技峰會于蘇州市相城區召開。作為在全球享有盛譽，以權威見解深度解讀全球科技趨勢的盛會之一，《麻省理工科技評論》 的 EmTech 系列峰會已成為全球最具影響力的科技會議風向標。今年，EmTech China 2020 繼續以技術與商業的結合為主線，數十位世界頂級科學家、海內外院士、商業領袖、科創精英蒞臨現場，探討新興科技發展現狀及其為人類社會帶來的巨大影響。此外，《麻省理工科技評論》“50 家聰明公司” 2020 年榜單也在現場重磅發布。

會上，小米技術委標準與新技術部音視頻標準總監 Mary-Luc Champel 分享了以《互聯世界》為主題的演講。以下為經過整理的演講實錄：

之前演講的嘉賓認為我們這些大的互聯網公司扼殺了小型的初創公司，其實我們小米的模式是不一樣的。小米的模式是建立生態系統，鼓勵每個人加入到平臺上來。今天我想跟大家介紹一下，類似小米這樣的互聯網公司，在 5G 服務上的多媒體編碼是如何做的，我們有很多的創新，這些創新會影響到大家。

小米的模式是建立生態系統

首先我想給大家介紹一下為什么我們有這樣的創新，然后給大家介紹體積視頻、未來的 XR 服務以及應用于 5G 服務的視頻編解碼器。今年很多領域的發展是非常迅猛的，體積視頻、未來的 XR 服務是我們日后的發展趨勢。再然后我想跟大家介紹一下媒體傳輸，媒體傳輸是如何影響未來的。最后我想展望一下未來，也就是看一下 6G 服務未來的發展如何，我相信未來 5-10 年 6G 服務會實現。

現在有層出不窮的新型服務和新型用途，這給我們帶來了新的挑戰。當然我們還可能有新的媒體形式，比如幾年前出現的媒體形式有圖片、視頻等。現在我們有 3D 視頻，3D 視頻更加復雜，是加強版的視頻，同時還有 VR、AR 以及游戲等。

當然這些新的媒體、新的服務要求我們有更高的帶寬、更低的時延。比如玩游戲播放視頻時，速度不夠快就會有時延；比如現場直播，你關注的足球隊正在參加世界杯，如果在臨門一角的關鍵時刻視頻卡頓了，觀眾就會非常著急。現在很多國家的用戶需要居家隔離，帶寬的使用在大大增加。

一些用戶在家辦公，他們需要使用視頻會議的方式進行交流。另外學生進行在線教育學習時，如果在線學習平臺不能支持流暢的視頻播放，家長和孩子們肯定會受到很大的影響。娛樂設施也會用到很多的帶寬。這些都需要更好的編解碼器，更好的帶寬管理以及更好的傳輸解決方案。在小米，我們的任務是克服這些新挑戰，以簡單易用的方式為我們的用戶提供新服務。

現在的視頻編解碼器普遍使用 H.264 標準，它在 2003 年就被提出來，為什么大家現在還在使用？因為它比較便宜，而且直到現在還是非常強大的技術。在 2013 年，VP9、H.265 (HEVC) 標準被制定，相比于 H.264，在同等視頻質量下可以節省近 50% 的傳輸碼流。

在 2018 年，一些公司成立了開放媒體聯盟（AOM）組，提供可免費使用的編解碼器 AV1，AV1 比 HEVC 標準下的編解碼的性能較好一些。但因為它沒有獲得足夠的硬件支持，所以到目前為止取得了較小的成功。在 2020 年，H.266 (VVC)、MPEG-5 (EVC) 和 MPEG-5 (LCEVC) 標準被制定，其中，H.266（VVC）標準是由 ISO 和 ITU 聯合制定的。MPEG-5 (EVC) 標準是基于歷史悠久的工具做的，因此可以免費使用，該標準采用了有限數量的新工具來實現更高的壓縮效率。

大家看到的是視頻編解碼器整體的變化趨勢，小米一直在密切關注這種變化趨勢，而且關注的重點在 3GPP 領域。3GPP 主要研究面向 5G 服務的視頻編解碼器（包括下一代編解碼器，如 VVC 和 EVC）。小米現在也在關注 5G 的發展，我們想看一下未來整個的應用趨勢和未來的編解碼器解決方案，考慮是否可以在相同視頻質量水平下降低所需的壓縮碼率，或者可以在相同壓縮碼率下提高視頻質量。

另外 3GPP 已經探索出了評估編解碼器的多種用途，這些用途包括是不是純高清流媒體、4K 電視服務、在線游戲、屏幕以及內容分享等等。針對每一個應用都提供了測試序列，在編碼時也考慮了操作的限制，比如在有時延的情況下用戶很難有愉快的游戲體驗。另外對于 AVC 和 HEVC，我們使用行業公認的衡量標準，公認的衡量標準包括 PSNR、SSIM 和 VMAF。

二維視頻、三維視頻和體積視頻

在這些領域我們已經花了大概兩年多的時間進行研究，接下來我想給大家介紹體積視頻，我們之前講的是二維視頻和三維視頻，接下來講的加強版的視頻類型是體積視頻。體積視頻可以移動，當你移動自己的時候就會產生 3D 的體驗，用戶可以看到不同深度的東西。在這里我們可以看到這個視頻，雖然是平面的視頻，但是如果你在其中就可以體驗到體積效果，感受到體積效果的原因是它支持交互式視差。我們從參考視頻和深度圖中渲染這些幀，編碼的內容包括視頻、深度圖以及遮擋物體地圖，利用這些數據我們可以得到重建幀。

另外，小米在做一些場景描述的工作，如果要讓用戶有更加豐富的體驗，我們必須將視頻和音頻相結合，而且將 3D 的內容和互動的內容加入其中。目前是沒有這樣的技術能把這些全都整合到一塊。

同樣還有一點非常重要，就是我們關注與研究的點云編碼 (PCC) 方向，也就是點以及空間的編碼。點云中有數不清的點，它可以用于實時直播，你可以讓這里面的人物旋轉，還可以有渲染的功能。點云也可以應用于 3D 物體，即用于環境監測的雷達，用雷達監測出來的復雜場景可以變成 3D 的點云。3D 點云視頻也可以應用在文化遺跡的捕捉上，可以用于保護我們的文物古跡。

MPEG 的 PCC 中有兩種技術方法，一種是基于視頻的編碼方法 VPCC，另一種是基于幾何的編碼方法 GPCC。VPCC 采用傳統的視頻編解碼器來處理點云，這是非常好的解決方案，這種方法可以用于密集和動態點云的壓縮。GPCC 方法適用于稀疏的點云數據，下一代 GPCC 將會支持動態點云。該方法采用幾何編碼，將點云數據放入一個立方體，該立方體會被劃分成 8 個子立方體，根據每個子立方體的空間占用模式對它們進行迭代劃分，直至子立方體中只有一個點。

這是我們推導出來的空間占用模式。在編碼時，點的查找路徑中有很多冗余信息，GPCC 可以幫助減少這些冗余，從而減少編碼所需比特，因此 GPCC 是非常有潛力的一種編碼方法。上個月 MPEG 剛剛完成了 GPCC 第一版的編碼器。可以給大家看一下我們實現的編碼方法，大家可以看到小的立方體全都已經被創建出來了，可以逐漸確定它的占用模式。

XR 技術可幫助用戶隨時隨地使用設備

在未來，我們還會看到什么樣的技術呢？

比如XR 技術是一項很有意思的技術，可以給用戶很多不一樣的體驗，尤其在線上游戲中會被經常用到，也可以幫助用戶在任何時候任何地方使用任何的設備。分布式計算、分割渲染、VR 直播也是重要的應用領域。如果想要一個 360 度的視頻，其中會有很多的數據，但是我不知道在我后面的是什么，如果我要快速地旋轉，需要把我背后的這些數據都傳過來，只有這樣才能夠使用戶有 360 度的視角。依賴于 VR 視角的流媒體可以幫我們預測用戶在接下來會有什么樣的動作，提前把這些數據進行傳輸。

另一個方面是媒體傳輸技術。這里是基于 HTTP CDN 的流媒體，YouTube、愛奇藝、騰訊視頻、蘋果都在采用基于 HTTP CDN 的解決方案。HTTP CDN 要連接起來是非常簡單的，客戶端能夠根據帶寬獲取質量最高的內容。很多信息或者數據都會被部署在 CDN 上面，由客戶端來決定需要獲取的內容，可以實時地根據客戶端的帶寬，直接去下載對應的資源或者內容。

媒體傳輸還有一種新的技術叫 CMAF，它是一種新的應用格式。內容的提供商對于相同的內容有很多不同的版本、不同的質量以及不同的加密方式，CMAF 可以為所有版本提供共同的格式，可以應用于一些基于 HTTP 的框架，比如 DASH 和 HLS，所以采用 CMAF 能夠有相同的網絡分發，去解決客戶的需求。客戶端可以是獨立的，也可以采用支持 HLS 或 DASH 的網頁瀏覽器。CMAF 是非常有意思的一種技術，因為可以支持 MSE，CMAF 可以由 MSE 的客戶端來進行使用。如果大家對于 CMAF 的媒體傳輸感興趣的話，下一個月會有專門的會議，時間大概是半天，我們會具體討論 CMAF 的一些應用和部署。

5G 的停留和 6G 的展望

最后我想講一講 3GPP。一開始我們有移動電話 (1G,2G)，之后我們有了流量數據（3G），有了 3G 之后我們可以通過手機上網，之后有了寬帶（4G），我們小小的手機也可以觀看或者發起直播。我們現在已經不僅僅用手機打電話了，而是用它上網。現在有了 5G，又有了新的生態系統，緊隨其后的是上面接入了很多服務模塊。我們不僅停留在 5G，還在展望 6G。

5G 現在在中國已經很流行了，中國很多的公司已經在講 6G 了。那么 6G 到底是什么？6G 其實就是混合的模塊，把我們的物理世界、虛擬世界以及數字世界結合起來，用戶則是站在這幾個不同世界的中間。這就是我的介紹，謝謝。

責任編輯：xj

原文標題：EmTech China現場直擊丨小米技術委標準與新技術部音視頻標準總監Mary-Luc Champel：小米模式是建立生態系統

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關注！文章轉載請注明出處。