導語

隨著5G和下一代編解碼、傳輸等技術持續演進，音視頻通話技術從低延時到超低延時實時通信快速迭代，越來越多應用與服務遷移至線上，越來越真實無損地還原線下體驗，新的互動方式和場景不斷涌現，從高度數字化到擬真化再到全真互聯網時代。本次LiveVideoStackCon 2021上海站我們邀請到了騰訊云副總裁李郁韜來分享音視頻的變革趨勢、演進以及未來。

演講 / 李郁韜 大家好，我是騰訊云的李郁韜。作為LVS的老朋友，回想起去年在電腦前用騰訊會議參加LVS線上圓桌討論，與大家分享“危機之下的音視頻技術驅動產品創新”。很高興能再次與大家相聚在此，面對面地交流音視頻在后疫情時代的發展趨勢。 個人來講，我很感謝這個時代，在去年到今年這段困難時期，在座的音視頻行業從業者仍然能發揮技術力量，為社會創造價值。

本次分享內容主要圍繞后疫情時代展開，重點分享互聯網數字化場景應用音視頻技術的新案例以及發展趨勢。 未來的互聯網是全真的，是線上線下結合的，是數字與實體相通的——這樣的互聯網時代被叫做全真互聯網時代。我們團隊對全真互聯網是什么有很多的思考，總結來說，首先它要有實時互動的能力；其次它要有高清音視頻沉浸式體驗；然后它要有無處不在的接入能力，例如APP、小程序、H5及硬件終端；最后它要有豐富的內容制作能力，使全真互聯網時代充滿有意思、能消費的內容產品。

01疫后趨“視”，云上飛馳

三年前，騰訊合作伙伴大會做過預測，兩到三年后整個音視頻市場會以短視頻為主，直播與長視頻為輔。2020年的市場中，短視頻和直播的活躍度明顯居于前列，短視頻用戶滲透率趨勢高達75%。可見短視頻已經成為線上數字娛樂內容消費的主要載體。

除了市場的基本載體被短視頻、直播覆蓋以外，很多行業都出現了大變化。第一是直播領域，電商直播成為所有平臺的標配。去年，在整個直播電商市場流量增加了8倍，預計2021年大盤將突破萬億規模，相信在未來兩到三年仍然會呈高速增長的趨勢。未來每一個直播平臺和企業都會擁有電商直播的渠道做數字化營銷。

第二是教育場景，頭部的在線教育平臺運用大量音視頻通信技術完成了各類生動教學；許多機構迫于疫情無法線下營業，也不得不選用SaaS工具，將線下教育場景搬至線上，大量OMO機會出現，去年市場的滲透率增長很快，但總體還是處于較低水平。因此，我們預計教育場景在未來兩到三年還有很大空間可以挖掘。 第三是國內企業直播以及多媒體服務。自從疫情后，每個企業都在思考如何在線上有更好的門戶、渠道、線上業務流程。

多媒體服務和承載能力成為必須面對的工作挑戰。從市場報告看，2020年企業直播的同比增速超過100%，預計2021年整個市場規模有望達到50億以上，并保持高速增長。將來每家企業可能都會有專屬的直播頻道、視頻號、專屬短視頻媒體庫，而音視頻技術將會成為社會的基礎設施。

02線上數字生活進一步媒體化

騰訊云所有產品線包括視頻云、云通信都會為線上數字化生活貢獻技術力量和B2B產品，使線上數字生活進一步多媒體化。

2.1 直播帶貨新常態—技術驅動電商直播，互動體驗極致優化

關于直播電商，這里講一些不一樣的。大家也許都知道，所有APP做直播電商都需要SDK，要買CDN服務、點播服務。去年疫情時，很多傳統企業無法現做APP，這就導致它們需要選擇輕量化入口，快速開發平臺支持電商直播轉型——小程序成為當仁不讓的選擇。疫情期間騰訊云觀察到電商直播流量漲了4倍多，50多家各類企業或電商平臺都基于小程序做了電商直播。騰訊云將音視頻體驗以及其通信能力做了包裝和輸出去承接這些需求。

2.2 全民電競直播不斷挑戰 技術承載上線

每年的電競直播都是對音視頻、流媒體行業巨大的技術挑戰。基于過去三年的數據，每年LPL的決賽在線觀看的人數都有30%至40%增長。在全球范圍內，友商直播峰值1千多萬同時在線來自印度板球的全民觀看。我們作為中國的企業，可以很自豪地說每年支撐的電競直播峰值早就突破2千萬，這背后是大量CDN基礎設施保障以及降本增效關鍵技術的沉淀積累，包括騰訊云智能高清極速轉碼以及P2P降帶寬技術。

在每年盛事峰值突發的情況下，社會網絡帶寬都有極大節省。往年，大家只是在線上看直播，而去年我們通過一些技術手段與賽事主辦方、播放平臺方做了三方聯動，將一鍵互動能力植入了比賽過程中，使觀眾在看電競直播畫面的同時，能夠實時看見游戲進程數據，同時還能跟現場解說做實時互動。以上嘗試點會在未來做進一步挖掘與提煉，讓未來電競比賽觀看的互動性更強。

去年，電競直播過程中需要做到精彩視頻的快速生成，且微博、抖音、快手等其他短視頻軟件都需要大量及時分發，現場的運營人員都可以通過云化在線編輯工具和在線實時生成工具將精彩集錦剪輯，分發至相應平臺，形成傳播，吸引更多觀眾加入直播房間。 上述兩個特點都是從去年開始大規模運用，預計未來兩年將有更多的互動、更快內容的生成與分發會在電競直播中進一步拓展。

2.3 云游戲邁向全真互動時代

接下來分享的是云游戲，相信大家都不陌生，這也是一個非常火、聊了兩年的話題。非常激動的是從去年開始，從騰訊云角度去看云游戲，它的發展速度是飛快的，遠遠超出了預期。中國整個網絡環境與網民終端能力，以及整個技術成熟度完全支持將大量端游和部分手游進行云游化，騰訊云游戲提供的PaaS層可以方便地把一款端游、手游在云端進行實例化，通過串流服務一起給到平臺方全套的SDK解決方案，使之實現云游戲的完整上架和接入。

最近發展較好的大平臺，包括斗魚、菜雞、YY都在云游戲上構建了大量實例，嘗試與自己的直播做互動。上圖中的案例是菜雞已經在云游戲中做主播與觀眾的接力玩法，例如主播正在玩、所有人正在看的時候，玩家可以申請與主播一起玩，可以到云游戲房間解鎖主播控制權，甚至與主播在游戲中PK。

其他觀眾可以觀賞他們的游戲過程。整個過程的互動性得到了極大的增強。很多Party類、養成類游戲都非常適合此類玩法。它背后依托的是方便接入、低成本、穩定的云游戲PaaS層，在上面做二次分裝就可以方便地實現云游的解決方案。

2.4 在線K歌/語言聊天室，走向高清實時

在線娛樂類比較多的場景是語音聊天室和在線K歌。大家都關注到前段時間北美的Clubhouse比較火，它運用到的技術大家也都不會陌生，很多語音聊天應用早已經這樣做了。在線K歌場景從以前的合唱接龍方式到現如今可以實現多人真實實時合唱。通過一些測試和對比，時延已經達到70毫秒以內，在不久的將來，大家就可以在全民K歌APP中體驗到全實時合唱能力了。它背后依賴的是RTC技術的極致優化和全球各運營商部署節點的能力，以及業務上配合集成的工作，未來語音聊天和K歌場景會往全實時、更高清的方向發展。

03內容生產：云化的多媒體生產工具

將進一步提升全真互聯網的內容供給

接下來我想與大家分享內容生產制作。在線制作數字化進程加速，每天消費內容需求量不斷增加，對內容生產方挑戰很大，之前MCN的編輯一人需要花很長一段時間去創作，同時需要很多人幫他審核、后期制作以及分發上傳到相應的視頻平臺。隨著云化進程和多媒體云端處理能力的加速，未來工作都會移至云端實現，以真正變成全真互聯網的內容供給。

3.1 內容消費成為行業主流，編輯的內容生產工具成為剛需

從市場規模來看，2020年MCN市場規模達245億元，數量達28000家，平均同比增速大于100%。內容消費端，網絡廣告市場規模超萬億，企業及廣告主更愿意為內容營銷付費買單，未來在數字化營銷以及內容分發和消費上，內容生產是必須解決的問題。

3.2 效率問題——云創多媒體引擎

首先是效率問題，騰訊在這一方面做了兩年多云剪，云導播產品。打開騰訊制作云，選擇云轉推，添加輸出地址，可以選擇視頻號等多個第三方平臺，填寫推流地址，立即轉推，即完成多平臺同步直播。視頻內容往往涉及多人協作，成員A進行素材拍攝并上傳至云媒資，成員B在后臺進行素材審核、分類、打標簽等操作，這里準備了海量的視頻模板，成員C可以使用模板快速制作成視頻內容，點擊導出完成創作。騰訊制作云支持將視頻一鍵上傳至快手、微博、企鵝號。

今年我們已經將整個產品線升級成云創多媒體引擎。其實我們不是一個視頻平臺方，不做內容生產、內容分發，但我們希望通過我們的技術能力、通過云化的服務使視頻開發者和企業主具備生產工具的能力。所以我們將軟件升級成云創多媒體引擎，希望以引擎的方式被集成至大家的生產系統，使之具備云化剪輯、云化導播以及云端的媒體管理能力，同時在全流程的生產協作上提供必要的接口，以提供云化生產制作的全流程。

整個云創多媒體引擎特性可以用三個維度闡釋。首先是它可以解決生產規模化的問題，以前的生產都需要幾個人像生產流水線一樣人工操作，隨著云化生產工具進一步發展，未來可以有大量云端素材庫、模板庫幫助活動運營內容制作商在節假日、慶祝活動快速通過模板素材生成一系列短視頻。

今年春節期間，我們有幸服務到好幾家小程序客戶，它們用微剪工具做了少兒春晚推廣，效果非常好。我們提供的是小程序音視頻剪輯的插件，被植入到小程序中，再做線上的推廣，給用戶提供線上視頻制作，再二次分發與裂變。其次是生產協同化，在線的多媒體制作本質來講是辦公協同場景。我們將所有流水線上的操作都搬至云上，將一體化更智能的能力賦能給這些人。

傳統模式下要做較好的短視頻需要兩天人工，到云創時代，預計整個過程縮短至30分鐘以內。最后是一鍵多平臺直播，作為工具的平臺方，要幫助做好一鍵多平臺的能力，方便用戶對接到新的視頻平臺和傳播渠道上。類似微信視頻號這樣新興發展起來的視頻平臺也可以由我們一鍵轉發。

最后是云創多媒體引擎被另外接入的方式，除了提供SaaS級別的0開發、即買即用方式之外，我們也提供更改域名、更改LOGO定制化的能力和配置，除此之外還提供一系列的API，包括前端Iframe集成，后端一些列視頻接口和批量處理接口，用戶能夠非常容易、方便地接入集成至已有的生產系統中。在這個Case下，B站已經用這個引擎做了面向運營人員的工具，圖中看不出是騰訊云提供的，也是希望賦能給各行各業，讓大家都擁有云化多媒體生產能力。

04傳統行業：音視頻通信云成了各產業

升級到全真交互時代無可替代的工具

后疫情時代，很多的工作已經被疫情改變。拿我自己來說，每天的會議，包括招聘的面試都在用騰訊會議進行，這在兩年前是不可想象的。傳統的各行各業也將線下業務搬至線上，且已經回不到之前的狀態了。

4.1 教育行業：1V1、小班課、大班課等 各類在線教育高速發展

現在的在線教育發展已經有了用戶習慣的基礎，市場上發展火熱的教育場景在騰訊云解決方案中有了豐富全面的覆蓋。這里值得注意的是騰訊云低延時的產品，它可以非常方便地將大班課CDN相對高時延的服務快速切換至低時延RTC服務。

騰訊云提供的小程序音視頻的能力，能方便在線教育創業者在小程序上快速試錯，測試用戶接受之后再導流到APP中，中間買量和運營成本也將急劇下降。在RTC競爭十分激烈的市場上，相信其他功能每家提供的解決方案趨同，大趨勢是幾乎所有在線教育平臺都會選擇多云方案，集成多家RTC的SDK，形成質量保障。

4.2 金融/證券直播：輕量便捷的小程序金融/證券直播更受歡迎

金融領域在這一年內發展非常快。疫情期間受影響最大的，首當其沖的是基金銷售領域。過去的模式是基金經理每過一段時間就需要在線下辦沙龍和會議銷售基金產品。大量基金經理在沒有辦法線下開展時，都選擇用了小程序工具線上完成基金宣傳和售賣活動，效果非常好。

據平臺觀察，去年典型的基金經理可以做幾十場直播活動，相對以前場次是20多倍的提升，每場參與人數從100至1000不等。全年累加，好的基金經理可以吸引幾十萬人的觀眾和潛在客戶。典型的工行、招行客戶明星產品非常多。去年股市非常火，基金更火。雙重因素刺激下，小程序基金直播非常值得期待。

4.3 銀行業：基于互動視頻的無界銀行，提升后疫情時代銀行業務效益

很多線下傳統的金融流程完整搬至線上。比較典型的是騰訊云的合作伙伴飛虎互動，用了半年多的時間將多家銀行的開戶流程搬至線上，以虛擬營業廳的方式使不能出家門的客戶有了開戶體驗。相信未來這種場景會繼續滲透進大家生活的方方面面。

4.4 云上展會成為新常態

去年云上廣交會，騰訊從接到任務、線上投產到順利結束，整個周期不到3個月，可以想象在四五年前，音視頻技術還沒有這么發達的時候，這個項目也根本不可能做得了。去年因為有了比較成熟的云化方案，以及音視頻技術的積累，可以通過包括騰訊會議、TRTC的SDK整套綜合解決方案來快速支持廣交會的商戶在云端構建每個商戶的線上店鋪，用音視頻讓全球買家與賣家做生意，這是非常大趨勢改變，相信在未來全球疫情沒有得到很好改變時候，線上展會、與國外做生意的大型企業的直播都會非常依賴音視頻與云的技術。

4.5 沉浸式內容+TRTC帶看+多觸點呼叫中心，構建全真營銷能力

在去年疫情期間，騰訊云與貝殼如視一起合作了VR帶看的場景。如果有租房買房的同學用過貝殼的話，都能感受到沉浸式的看房體驗，隨時隨地可以發起與經紀人的聯系，能夠極大詮釋看房的全真互聯網時代。接下去還會有看車，看博物館的展覽，這些都會加入沉浸式與帶看的體驗。除了移動端的小程序與APP，我們還推出了TCCC云化呼叫中心產品，它完全基于TRTC去實現純Web全座席端的呼叫產品，可以通過被集成的方式提供到現有的工單系統、CRM系統中，實現軟件化和多觸點通信能力。

05開發者有了更多的音視頻技術棧的選擇

這一部分介紹一些新的技術趨勢，以方便大家選擇自己的技術棧。 5.1 云原生低碼aPaaS涌現

云原生是一個大趨勢。云原生可以理解為容器和音視頻結合，這里邊有非常多的想象空間和可行性。以前要做RTC服務或直播服務，除了購買RTC供應商的服務或CDN之外，還要自己搭建媒體源站和錄制服務，以方便做業務邏輯的分裝。 現如今云原生時代，可以通過Serverless，無需購買搭建服務，通過函數服務在幾行代碼中調用Rest API實現之前繁瑣的過程。

其帶來的好處顯而易見：彈性伸縮，按量使用，按需付費，同時可以快速啟動，無需管理大服務器的集群，所有的組件都是無服務器化的，無需運維，節省人力成本。

上圖中的兩個例子，其中一個，以前要做視頻文件轉直播流往往需要文件解析的源站，調用FFmpeg做轉推服務至直播平臺，現如今可以使用Serverless運行服務端的SDK解決這些問題；

另一個例子，在線教育用的是全景錄制，它的意思是作為學生參與課堂所看見的所有內容互動、PPT和老師的小窗口都需要原封不動地錄制下來，這給服務端帶來了很大的技術挑戰，實驗起來很麻煩。現在通過Serverless技術可以在云端構建仿終端的實例，在Serverless組織下做到完全還原錄制。

5.2 All in One 音視頻終端引擎

騰訊有直播推流的SDK、TRTC互動音視頻的SDK、IM即時通信的SDK。在去年年底我們將這些都做了一定程度的統一，用同樣的接口風格、同樣的格式和接入方式提供給開發者All in One一站式的音視頻終端引擎。未來我們會更多投入到音視頻終端引擎的開發中，包括前端埋點的上報、全鏈路的監控和日志的排查等，把整體解決方案提供給開發者。相信未來在兼入到騰訊云終端SDK后，只需要在控制臺點選所需要的協議和需要的延時大小等個性化參數，就可以方便地得到想要的SDK形態。

5.3 下一代全球實時傳輸網絡 助力開發者在全球快速上線業務

上圖是全球的基礎設施。從去年開始，基建就面臨著不小的挑戰，包括疫情重點地區巴西、印度等建設進度嚴重受阻，通過不懈努力，以及與合作伙伴的通力合作，現如今騰訊云全球節點已超過2100 個，可以容納120T的帶寬儲備應對突發情況。包括騰訊會議海外版、TRTC海外版、IM海外版都已經全面支持GDPR的要求，全面支持主流大洲國家覆蓋。所以在選擇出海業務時，騰訊云是一個比較好的全家桶選擇。

5.4 騰訊云音視頻通信

未來兩年，我們仍會圍繞應用場景、基礎設施、PaaS層三個方向發展。目前正式推出統一的基礎網絡與RT-ONE音視頻通信技術網絡，旗下有實時音視頻通信網絡去解決音視頻實時通信的問題、有即時通信網絡去解決IM消息和業務信令的問題、有流媒體分發網絡去解決海量大并發直點播CDN的問題。

在此之上，我們構建的All in One SDK音視頻引擎以及云創多媒體生產制作的引擎一起構建出了PaaS與aPaaS的產品家族。再往上，我們會供給給各領域的場景，例如在線教育場景、會議場景、客服場景、泛娛樂場景、金融場景等等，我們都會與合作伙伴推出整體解決方案。

5.5 騰訊云音視頻通信開發者資源

上圖是對開發者的貢獻，去年API個數超過300+，其開發速度滿足了各行各業從業者的要求，全年迭代150+版本，整個過程中沒有一例重大事故；文檔突破2500+，大家在騰訊云上搜索相關產品都能獲得全面的文檔解釋；SDK覆蓋了所有的終端，aPaaS方案仍在向上疊加，現如今是10個，相信再過一年是20個，30個……未來各行各業的解決方案都會呈現在產品庫中，而且所有產品都標配了私有化部署的能力。在開源社區方面，我們也持續積極投入，現在有13個開源項目面向開發者，每年會有100+場活動與大家共同交流。

06未來技術趨勢洞見

接下來聊一下對未來趨勢的看法。

6.1 音頻-弱網下的音頻QoE越來越重要

在音頻處理方面，騰訊的多媒體實驗室和天籟實驗室投入了很多精力和人力去做3A的處理優化，力求將其做到極致。推出的cPLC連續突發丟包補償方案和cFEC前向糾錯編碼方案在騰訊會議中也得到了非常多的應用。

6.2 視頻向超高清演進

現在我們看見的主流短視頻很多是通過軟件編解碼方式來做的。未來隨著云游戲、視頻直播的發展，EGL編解碼器逐漸替代X86軟件編碼器，騰訊工程師研發的H.265硬件編碼器瑤池V500也在路上了，相信會很快投產。

6.3 各式流媒體協議滿足不同業務場景

緊接著我想分析一些趨勢。流媒體的協議格式發展速度很快，全球范圍上看，所有格式都在其應用場景上發揮著自身的價值，本次我想重點挑幾個介紹。SRT以前是傳統廣電直播領域解決上行直播問題的協議，現在我們將它用在了電競直播遠程技術中心高碼率傳輸的過程中，能夠極大地解決以前靠專線和衛星傳輸帶來的成本消耗問題，同時帶來了不錯的質量；

WebRTC方面，我們投入了非常多的精力去做社區貢獻，調整其QoS、QoE，將秒開和卡頓做到極致。基于騰訊自身的RTC，我們還將WebRTC作為接入端，實現多端互通，包括小程序；還要提一下QUIC，它是標準傳輸協議，在海外很多場景下，用QUIC做CDN的最后一公里加速非常不錯。如果接入到騰訊云CDN，就可以天然享受到QUIC協議。

6.4 下一代編碼標準工程化加速

關于下一代的編碼標準，AV1在海外已經大規模使用，國內長視頻平臺也已經開始使用AV1。騰訊云在2019年11月開始從云直播、云點播全線產品支持AV1的轉碼服務，同時也是AOM的第一家中國公司董事會成員。在AV2上，我們也參與了提案，相信在2022年會有定稿部分。騰訊多媒體實驗室擔任了VVC的聯合主編，參與了許多提案。騰訊多媒體實驗室、視頻云室聯合騰訊內部多部門共同研發H.266/VVC編解碼器，很多產品都已經得到了客戶的驗證，最近我們在考慮是否需要更好地與FFmpeg做結合并將其推出給開發者。 6.5 開源的思考

騰訊的音視頻團隊一直在積極擁抱開源社區，在開源技術的基礎上經過加工，有了一些好的特性我們都會積極回饋至社區。拿FFmpeg為例，騰訊在2019~2020期間向社區提交的Patch數目 》 330個，被merge的Patch 》 180 個，是社區前10 的貢獻者。相信未來在VMAF、SRT、WebRTC上也會有更多的貢獻，希望能營造雙向循環的生態，從云計算從開源社區拿到的好東西最終能以云服務的方式提供給開發者，同時將開發者反饋的問題回饋給開源社區，讓其他的云計算公司和開發者可以直接從開源社區拿到不錯地版本去構建自己的服務。

07騰訊云V加俱樂部

最后想要聊生態合作的部分。騰訊云去年成立了面向音視頻行業的V加俱樂部，并啟動了招募活動。

已經有非常多的伙伴加入到我們的V加俱樂部，一年收入已超過一個億，發展空間非常巨大，相信未來我們還是需要和音視頻開發者生態合作去服務客戶。V加俱樂部的基本思路是提供PaaS層和aPaaS層產品能力與ISV做某個行業的定制開發，繼而形成聯合產品，借由騰訊的千帆計劃和云市場推出給騰訊云客戶以及ISV自身的客戶，使之了解兩者聯合產品的特殊價值。

其次，我們用技術生態合作去解決騰訊云很多客戶的定制開發問題，讓合作商進入項目中做技術開發工作。然后是我們對商機的開放，將我們拿到的不能解決需求的商機貢獻給V加俱樂部成員，大家共同服務好客戶。

除此之外，今天還想面向開發者宣布一個消息，在演講前一天，騰訊云官網就已經上線了面向開發者的創新成長快線，希望能夠讓大家有更多的免費資源，享受到視頻通信產品服務。TRTC會提供給符合標準的開發者100萬分鐘的免費時長，同時還有騰訊云專家團隊的技術支持，最高享有10萬元云產品代金券，詳細活動以騰訊云官網介紹為主。

編輯：jq