在全球疫情的今天，大量線上服務短時間內誕生或極速擴張。身處在云計算的時代，如何用遠超以往的基礎音視頻云服務快速構建海量穩定的在線應用，以應對一場全人類的危機就顯得尤為重要。本次LiveVideoStackCon 2020線上峰會我們邀請到了騰訊云音視頻通信業務總經理李郁韜，他將從視頻會議、在線教育和在線娛樂等典型場景來看音視頻技術推動下的產品創新和機遇。

1. 疫情之下，云計算及音視頻通信云助力眾多垂直場景落地

疫情之下，各行各業都發生了巨大的變化，其核心本質在于社會活動從線下變成了線上，根據市場調研報告來看，線上應用的用戶規模增長最多的行業是效率辦公，其次是短視頻、在線教育、娛樂應用等。同時，這些應用的用戶在線時長也呈現出井噴狀，由于復工復課的需求，在線教育迎來了較大的需求增長。

從音視頻行業的整體產業鏈來看，隨著疫情的發展，越來越多的線上應用將音視頻作為常態工具或標準配置。 大家較為熟知的互聯網應用領域在疫情期間迎來比較正常的用戶增長。由于復課的需要，各大在線教育相關應用都迎來了用戶和在線時長的爆發式增長，同時還有很多垂直行業由于各種壓力，開始在各種平臺進行電商帶貨。企業無法進行線下宣傳活動，也紛紛搬到線上進行，因此企業直播也迎來了很大的發展機遇，包括金融機構的在線培訓等。 這些行業的發展和應用的催熟，都需要依賴底層基礎設施的成熟，利用云計算、音視頻通訊等技術，更多垂直行業才能快速將線下內容轉移到線上進行，以適應在新的危機之下發現新的發展之路。 下面我將分別從不同的場景分享一些應用和技術的發展趨勢。 2. 停課不停學，在線教育迎來新機遇

疫情期間，在停課不停學的政策指導下，在線教育成為了教學的唯一手段。 2.1 騰訊課堂一周上線極速版

在疫情發展最初的一周內，根據用戶迫切的需求，騰訊課堂臨危受命，快速上線極速版。其核心能力是基于音視頻的實時通訊以及大房間直播的應用。在上線的過程中，我們發現很多音視頻領域的新能力得到了廣泛應用，例如騰訊云的超低延時直播—— 快直播產品，它可以幫助騰訊課堂在短時間內極速擴容，以支持百萬級師生同時在線的低延時課堂需求。 2.2 超低延時直播技術發展

對于直播延時技術，直播延時需要越來越短已經達成共識，觀眾和主播端可以有越來越多交互的可能性。 海外的一些廠商會主推HLS、CMAF等技術，其本質都是基于HTTP編碼快，傳輸切片更小，一般延時在2-3秒左右；國內最初的直播技術棧始于RTMP/FLV，目前RTMP/FLV成為了一個標準，其機制是通過流式傳輸，再通過協議棧不斷優化，目前的延時在1-2秒左右。 HLS、CMAF、RTMP/FLV這三種技術都存在自身天花板的局限，縱觀業界另一個領域：實時音視頻領域，WebRTC的延時可以做到很低，但其不足的是直播房間人數會受到限制。 騰訊云利用WebRTC技術推出的快直播應用，可以將直播延時降低到1秒以內，目前在其他一些產品上也實現了超低延時的需求。 未來隨著直播技術的發展，將會出現越來越多低延時交互場景的需求，WebRTC有可能成為新一代低延時直播的標準。 2.3 停課不停學，站在“云”的肩膀上

從技術的發展來看，上圖中最下方的標準直播，從推流的接入-轉碼-中間處理-CDN分發，整體延時在3-10秒，這套標準直播流程是目前主流的直播技術。 騰訊云通過WebRTC的代理實現了快直播應用，其本質是將直播的后半段用WebRTC協議和JitterBuffer的特性替換RTMP/FLV等推拉流的方式，這樣做的優點在于可以支持H5播放器，支持低延時準實時音視頻的應用，同時提供WebRTC的SDK可以集成在觀眾端的APP上，以實現與WebRTC瀏覽器同樣的體驗效果。 圖中最上層是基于RTC架構，存在一定人數上限的低延時大型直播的技術方案，在強互動場景得到了廣泛的應用。 以上三種方案未來可以根據不同的需求選擇對應的解決方案。 2.4 騰訊課堂“極速版”效果

騰訊課堂“極速版”應用到快直播架構，受到很多學生和老師的喜愛，作為主推線路使用。據反饋，騰訊課堂在使用過程中的平均延時在500毫秒左右，因此在疫情期間，快直播用量得到了百倍增長，產品依賴智能選路的調度系統，實現了高穩定性和高容災能力的低延時直播系統需求。 3.在線協同，將改變企業工作方式

在疫情期間，視頻會議得到了很大的發展，傳統的視頻會議已經滿足不了廣大用戶的接入需求，有很多基于互聯網應用的新型輕量級的視頻會議紛紛出現并迎來很大用戶增長。 3.1 騰訊會議高速發展的背后

騰訊會議產品推出兩個月的時間，日活賬戶數量過千萬，為了抗擊疫情，騰訊會議面向全國免費提供300方會議能力，作為底層支撐平臺，騰訊云不斷地進行擴容和技術支持，滿足了疫情期間對于視頻辦公的需求。 正是基于騰訊云多年在音視頻技術方面的積累，才能在短時間內推出這款高品質產品。目前騰訊會議的國際版—VooV Meeting已經在全球100多個國家和地區上線，架起了中國企業與外國企業之間溝通的橋梁。 3.2 騰訊會議針對視頻和音頻的優化

對于騰訊會議隱藏的底層技術優化，在很多音頻、視頻的處理方面都優化到了極致。 3.2.1 音頻領域的超分-帶寬擴展

音頻是視頻會議最重要的組成，也是最核心優化的點，相比于PSTN的音質，騰訊會議無論從音質或是去噪部分，都應用了黑科技元素，這使得騰訊會議的音頻質量有很大的提升。同時，騰訊云將算法壓縮到最小，以便在客戶端完成部署。 3.2.2 降噪語音增強

在降噪方面，針對不同場景進行不同噪聲消除，同時結合了深度學習算法和傳統信號處理的算法，將PESQ提升0.3-0.5，STOI提升0.1-0.2，在特定場景下降噪能力得到了很大的提升。 3.3 超強網絡適應能力及流控

關于視頻會議下的弱網問題，除了傳統處理方式之外，騰訊會議還對音頻進行了更多的優化，使用帶內FEC+PLC的丟包恢復技術，在弱網情況下，音頻部分得到了較大提升，在視頻卡頓的情況下可以做到在音頻丟包80%的情況下，語音依然自然流暢。同時應用SVC技術，視頻端質量可以適配不同網絡的終端，讓不同能力的終端可以享受到能力上限的體驗感受。 3.3.1 配套的質量監控有助于產品質量快速提升

除了局部技術的優化之外，騰訊會議還有很多配套的質量監控手段，端到端的全鏈路監控運營工具可以幫助用戶在平常處理較常見的異常情況，通過異常反饋不斷優化接入點或調度的能力，快速提升產品質量。 3.3.2 微信小程序，讓會議足夠輕

微信小程序是騰訊會議較為亮點的入口工具，騰訊會議的傳播和入口體驗都較為加分，目前在微信小程序中可以使用live-pusher或live-player標簽調用RTC的mod，即可在微信小程序中實現準RTC服務，騰訊會議同樣應用了該能力，通過小程序讓用戶更方便的接入。除此以外，小程序因為混流性能原因無法實現本地更多方的音頻和視頻的接入，騰訊會議通過云端MCU和混音引擎把音頻與視頻在云端進行混合處理再推送到小程序，使得性能與網絡帶寬都得到很大提升，從而保證小程序入會體驗達到普通終端要求。 3.3.3 騰訊云實時音視頻通信

騰訊云實時音視頻通信產品在疫情期間得到了很大發展，例如騰訊會議，在一周內完成緊急擴容100萬核的巨量擴容體系，最高峰突破1000萬PCU，日通話分鐘數突破30億。 3.4 視頻制作在線化，足不出戶協同創作

疫情期間有很多視頻創作者以及直播工作者無法正常線下辦公，由于騰訊云豐厚的前期技術積累，這些技術在騰訊云的云導播臺、云剪輯等都得到了很廣泛的應用。 3.4.1 騰訊云導播解決演播在線協同

由于復課需求，很多在線教育機構需要將優質課程資源分發給各大視頻平臺，通過騰訊云導播項目可以解決優質資源快速分發等問題。可以在云導播平臺實現音視頻軌道的切換、特效疊加等效果，未來也會向智能化和多人協同的方向發展。

除此之外，騰訊云還推出了云剪服務，在疫情期間這項服務也得到廣泛應用，可實現輕量化的Web在線編輯，可以實現較為初級的處理能力，未來也會增加更加智能化和多人協作能力。 3.4.2 騰訊云剪解決方案在線視頻制作的智能化和協作需求

騰訊云剪目前已經在和很多公司合作，例如云剪支持SaaS的“一鍵換皮”，一些客戶希望可以完整部署云剪的SaaS產品在自己的專有云上，可以使用”一鍵換皮”的方式更換logo、顏色、風格模板等。 另外云剪也支持公有云Paas方案，目前與虎牙的合作，提供了內嵌的騰訊云剪編輯器到虎牙主播助手中，支持主播在直播結束后可以快速編輯視頻進一步分發。 4. 直播帶貨正當時

由于疫情的原因，越來越多的網紅大V開始接觸直播帶貨，同時越來越多的線下電商平臺以及微信內小型電商平臺都開始將直播作為基礎功能，搬進其應用中。 4.1 騰訊云直播帶貨產品框架圖

騰訊提供的小程序云直播插件在疫情期間得到了非常廣泛的應用，可以支持目前微信生態中很多電商的小程序，可以使用小程序插件的方式集成直播功能，進一步結合IM能力，即可快速構建小程序直播應用，實現完整的電商帶貨能力。 4.2 騰訊云小程序直播插件在電商場景的應用

直播帶貨場景在小程序的實現背后有很多的技術綁定：

場景化的定制方案：將騰訊云的IM產品和直播、線上點贊、優惠券推送等功能集成在一起，實現完整的場景定制方案。

支持多平臺直播互通：不僅在微信小程序內可以打開和關閉直播觀看，同樣也可以與APP進行互通，因此，很多電商平臺就可以輕松構建APP+小程序的一體化電商直播。

基于微信生態高效傳播與轉化：很多電商應用通過群組和朋友圈的社交裂變，可以很便捷的實現小程序直播的快速傳播。

4.3 騰訊視頻云小程序直播插件

據統計，小程序電商直播方案相較于普通APP，可以帶來2倍以上的轉化率提升，用戶的流量和使用頻率都更大，活躍用戶次日留存率提升將近35%，在小程序中以輕量化方式構建直播帶貨，下單速度可以提升將近2.28倍。 5. 沉浸式多媒體技術

沉浸式多媒體技術在疫情期間迎來了在線營銷的新機遇，疫情期間無法實現車、房等大件的線下購物，因此騰訊云利用沉浸式多媒體技術將其搬到了線上。 5.1 線上沉浸式營銷新場景

如上圖是沉浸式全景空間體驗結合營銷場景的介紹，在展會中基于點云技術之上的沉浸式多媒體的應用，再結合線上文字和視頻解說，可以給用戶帶來身臨其境的觀展體驗。另外，可以通過音視頻在線通訊能力，實現真人客服講解。 與騰訊云合作的貝殼如視，在疫情期間實現云代看應用，其用戶轉化率和使用時長比傳統圖文介紹效率高很多。 線上汽車銷售場景，全景車內和3D外觀演示，再疊加圖文介紹和實時音視頻通信，實現真人在線銷售。 5.2沉浸式媒體解決方案的關鍵技術

關于沉浸式媒體解決方案的關鍵技術介紹是必不可少的，在采集端，目前點云數據的采集仍依賴于傳統相機的采集，越來越多的手機、ipad也開始支持點云的拍攝和采集。后臺處理涉及空間建模的拼接、空間深度推算、物體三維建模等專業的沉浸式多媒體算法內容。 基于騰訊云強大的音視頻及通訊能力，快速接入沉浸式代看、沉浸式客服坐席、沉浸式視頻講解、沉浸式實時通訊等營銷能力，可以快速實現相應功能。 5.3沉浸式媒體解決方案主要解決的技術問題

騰訊云和騰訊多媒體實驗室也做了很多技術儲備和研究，點云涉及海量數據及計算問題，例如大量點的集合、6DOF數據和靜、動態的千萬級的數據量，如何利用這些數據實現高維數據生成、三維場景重建以及相關數據的存儲和管理等，都是我們主要的技術課題。 6. 在線娛樂需求井噴下的云游戲發展

疫情期間，用戶都是居家隔離狀態，以致于游戲需求呈現井噴式增長。因此，云游戲發展迎來了歷史性拐點。 6.1 云游戲在多端開始應用落地

如上圖是一些騰訊云云游戲的應用和進展，目前已經對很多設備完成了很好的適配，例如將PC端的網游搬到手機端實現，在TV端、Web端也已經完成了對很多網游大作的適配。

云游戲的發展中，底層計算技術具有不可忽視的重要作用，包括大計算量的畫面渲染和編解碼，需要使用到GPU虛擬化技術，利用底層服務引擎進行游戲適配，以及大規模的性能提升、數據計算等的應用。 邊緣計算也是不可或缺的技術，云游戲的要求是低延時甚至超低延時，未來在公有云上的邊緣計算，甚至5G時代的運營商邊緣EC點，都需要使用底層資源。在此之上構建的容器化的平臺、云游戲引擎以及音視頻的編解碼、渲染等，才可實現高性能、低延時的云游戲。 傳輸部分，低延時音視頻通訊能力非常重要，需要使用到資源的調度管理、高性能的JS-API/SDK集成技術。 6.2 Tencent-RTC技術

騰訊云的Tencent-RTC技術在云游戲中保證了低時延，高質量的視頻展示效果。 6.3 云游戲未來發展趨勢

云游戲未來的發展趨勢：

云游戲體驗趨向于原生化，精品的原生云游戲誕生是標志著云游戲技術的成熟。

趨向底層應用定制化，過去的云游戲使用的是通用型計算服務器，未來隨著云游戲的發展，將會誕生越來越多的定制化專用云游戲服務器。

云游戲會結合越來越多的場景，起到流量分發的作用，通過云游戲的試玩帶動原生游戲的下載，將云游戲與直播、短視頻、廣告場景無縫結合

騰訊云希望可以通過一體化的云游戲平臺幫助客戶高效、低成本獲取云游戲技術能力，讓云游戲成為未來游戲的基礎設施。 7. 騰訊云視頻產品全景圖

在疫情之下，危機催熟了在線行業的應用，很多應用都是由音視頻技術的驅動，目前騰訊云視頻的產品已經涵蓋了方方面面，背后依賴的是騰訊云視頻技術以及上層一體化的解決方案。