云時(shí)代，視頻直播、實(shí)時(shí)音視頻通信等在線音視頻服務(wù)面臨各種復(fù)雜的網(wǎng)絡(luò)環(huán)境和流量爆發(fā)式的增長(zhǎng)，對(duì)音視頻質(zhì)量監(jiān)控和成本優(yōu)化提出新的嚴(yán)峻挑戰(zhàn)。本次分享我們邀請(qǐng)到了華為云音視頻大數(shù)據(jù)研發(fā)負(fù)責(zé)人康永紅，他詳細(xì)介紹了基于大數(shù)據(jù)的音視頻全流程質(zhì)量監(jiān)控評(píng)估體系和各個(gè)環(huán)節(jié)的優(yōu)化實(shí)踐，以及面向不同的業(yè)務(wù)和場(chǎng)景，如何通過不同的關(guān)鍵數(shù)據(jù)指標(biāo)改進(jìn)音視頻服務(wù)的體驗(yàn)質(zhì)量和產(chǎn)品成本。

大家好，非常有幸能有這次分享機(jī)會(huì)，首先感謝LiveVideoStack。我是康永紅，來自華為公司，在大數(shù)據(jù)和音視頻業(yè)務(wù)領(lǐng)域有十多年研發(fā)經(jīng)驗(yàn)，負(fù)責(zé)直播、視頻會(huì)議、RTC、VR的QoC、QoE、QoS管理，主要聚焦在基于大數(shù)據(jù)解決音視頻產(chǎn)品體驗(yàn)提升和成本優(yōu)化的業(yè)務(wù)領(lǐng)域。我個(gè)人認(rèn)為這也是整個(gè)音視頻領(lǐng)域的一個(gè)難點(diǎn)。

2020年是不平凡的一年，客觀來說它促進(jìn)了我們音視頻業(yè)務(wù)的爆發(fā)性增長(zhǎng)。華為云基于大容量、低時(shí)延、全互聯(lián)的媒體網(wǎng)絡(luò)，通過全國(guó)的2000多個(gè)節(jié)點(diǎn)和幾百T的寬帶，和我們的客戶一起服務(wù)了億級(jí)在線用戶。在這個(gè)過程中，通過大數(shù)據(jù)解決視頻體驗(yàn)質(zhì)量和成本優(yōu)化顯得尤為重要，同時(shí)我們也積累了一些經(jīng)驗(yàn)，今天我將和大家分享云原生時(shí)代，華為云在音視頻質(zhì)量監(jiān)控與優(yōu)化的實(shí)踐。

本次分享主要分為四部分：第一部分是云原生時(shí)代為什么要做音視頻數(shù)據(jù)服務(wù)體系，第二部分是華為云視頻直播和RTC音視頻直播在體驗(yàn)質(zhì)量上的實(shí)踐案例，第三部分會(huì)介紹華為在云原生時(shí)代是如何快速構(gòu)建音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺(tái)，最后將總結(jié)和展望音視頻業(yè)務(wù)體驗(yàn)質(zhì)量的思考和技術(shù)規(guī)劃。

1 “ 構(gòu)建音視頻數(shù)據(jù)服務(wù)體系

從音視頻體驗(yàn)的發(fā)展趨勢(shì)來看分為直播、RTC和XR三代，可以歸納為兩個(gè)特點(diǎn)：第一點(diǎn)是用戶體驗(yàn)越來越真實(shí)，傳輸分辨率從720P到1080P、再到XR的4K、6K、8K、乃至更大；另一點(diǎn)是業(yè)務(wù)要求互動(dòng)性越來越強(qiáng)，遲延方面從30s到XR不超過100ms，對(duì)延遲要求更低。

基于以上質(zhì)量體驗(yàn)的發(fā)展趨勢(shì)，我們需要有一個(gè)后臺(tái)技術(shù)支撐。我們?cè)谑褂么髷?shù)據(jù)解決支撐的過程中也經(jīng)歷了三個(gè)階段：首先是5年前用大數(shù)據(jù)平臺(tái)解決技術(shù)問題，其次是在3年前用數(shù)據(jù)中臺(tái)解決效率問題，第三個(gè)階段是最近兩年我們綜合1.0、2.0時(shí)代的特點(diǎn)，采用“中臺(tái)+可信數(shù)據(jù)服務(wù)”的數(shù)據(jù)服務(wù)中臺(tái)模式解決價(jià)值問題。我們認(rèn)為數(shù)據(jù)服務(wù)中臺(tái)是解決業(yè)務(wù)差異性和市場(chǎng)不確定性的最佳框架。

在直播中我們經(jīng)常會(huì)碰到卡頓、實(shí)時(shí)音視頻通話延遲等情況，這些問題都會(huì)嚴(yán)重影響用戶體驗(yàn)。解決這些問題的一般方法是構(gòu)建音視頻質(zhì)量監(jiān)控平臺(tái)，采集數(shù)據(jù)，用大數(shù)據(jù)的方法解決監(jiān)控質(zhì)量問題。在這過程中，我們又會(huì)碰到一些新的問題，比如采集數(shù)據(jù)延遲很大、丟失很多、數(shù)據(jù)不準(zhǔn)確，此外還包括大數(shù)據(jù)算力不夠、交付時(shí)延比較長(zhǎng)等等問題。這些體驗(yàn)和技術(shù)問題帶給我們很多挑戰(zhàn)——包括會(huì)在什么場(chǎng)景出現(xiàn)這些問題，無法精準(zhǔn)確定是網(wǎng)絡(luò)問題、設(shè)備問題還是環(huán)境問題，以及這些問題影響了哪些客戶等等。

那我們要怎么解決這些問題呢？在端+邊緣計(jì)算+云計(jì)算的云原生時(shí)代，技術(shù)上已經(jīng)給了我們一些解決方法。最好的實(shí)踐是基于“數(shù)據(jù)湖+數(shù)據(jù)服務(wù)”的云原生數(shù)據(jù)驅(qū)動(dòng)能力，去解決業(yè)務(wù)差異性和市場(chǎng)不確定性。這套架構(gòu)分為六層，我們通過這六層去解決后臺(tái)系統(tǒng)的相對(duì)穩(wěn)態(tài)及前端業(yè)務(wù)穩(wěn)態(tài)之間的矛盾。

架構(gòu)落地的具體實(shí)踐是基于云服務(wù)基礎(chǔ)設(shè)施，首先我們構(gòu)建了統(tǒng)一的音視頻數(shù)據(jù)湖，同時(shí)構(gòu)建從采集、生產(chǎn)到消費(fèi)的數(shù)據(jù)價(jià)值鏈，通過這兩者結(jié)合，支持所有同時(shí)在線的幾大類服務(wù)接入，和面向內(nèi)外部七類客戶，以及包括運(yùn)營(yíng)、運(yùn)維等客戶數(shù)據(jù)服務(wù)的QoS、QoE、QoC等三大類七小類的場(chǎng)景訴求。當(dāng)然僅僅基于這個(gè)架構(gòu)開展體驗(yàn)質(zhì)量?jī)?yōu)化工作是遠(yuǎn)遠(yuǎn)不夠的，這只是技術(shù)上的解決方法。

從在業(yè)務(wù)角度出發(fā)，我們認(rèn)為QoE體驗(yàn)是一個(gè)管理的問題，我們?cè)跇I(yè)務(wù)上需要做一些設(shè)計(jì)，這塊我們構(gòu)建了音視頻服務(wù)的體驗(yàn)體系，大致分為兩個(gè)大的階段和三個(gè)小的階段。兩個(gè)大階段是先診斷、再提升，在診斷中分為監(jiān)控和診斷兩個(gè)小階段。

具體展開來看，首先需要構(gòu)建QoE、QoS的立體實(shí)時(shí)監(jiān)控體系以及輔助AI的異常檢測(cè)方法，做到實(shí)時(shí)發(fā)現(xiàn)問題。第二步在發(fā)現(xiàn)問題后用秒級(jí)診斷能力，快速診斷體驗(yàn)原因，這個(gè)原因可以具體到用戶行為級(jí)。基于診斷結(jié)果，第三步就需要做體驗(yàn)提升，一般有兩種方法：第一種是依靠人工經(jīng)驗(yàn)做優(yōu)化，另一種方法是智能調(diào)度，我們?cè)诿嫦虿煌袠I(yè)、不同場(chǎng)景的情況下，基于智能調(diào)度策略在成本可控的情況下做到用戶體驗(yàn)最優(yōu)。

基于上述體驗(yàn)質(zhì)量?jī)?yōu)化體系，接下來我將具體展開分享華為云在視頻直播和RTC實(shí)時(shí)音視頻方面的體驗(yàn)優(yōu)化實(shí)踐的案例。

2 “ 華為云視頻直播體驗(yàn)優(yōu)化實(shí)踐

我們首先看一下華為云視頻直播體驗(yàn)優(yōu)化實(shí)踐案例，我們?cè)谧龅降蜁r(shí)延、不卡頓、高清晰的同時(shí)，還實(shí)現(xiàn)了成本可控。總體分為三個(gè)階段：第一階段質(zhì)量監(jiān)控，第二階段問題診斷，第三階段體驗(yàn)提升。

視頻直播的質(zhì)量監(jiān)控，我們首先構(gòu)建了覆蓋流質(zhì)量、體驗(yàn)、規(guī)模、網(wǎng)絡(luò)、成本、設(shè)備六個(gè)維度的立體質(zhì)量監(jiān)控體系，涵蓋了QoE、QoS、QoC三十多個(gè)指標(biāo)，其中包括幀率、碼率等核心的QoS指標(biāo)，秒開率、卡頓率等QoE體驗(yàn)指標(biāo)和帶寬、回源率等成本QoC相關(guān)的指標(biāo)。

第二個(gè)階段問題診斷——視頻直播的秒級(jí)質(zhì)量診斷，這是基于網(wǎng)絡(luò)數(shù)據(jù)+端數(shù)據(jù)構(gòu)建的直播流全鏈路監(jiān)控體系。診斷流程貫穿了第一公里主播端監(jiān)控推流幀率等QoS指標(biāo)，到網(wǎng)絡(luò)節(jié)點(diǎn)間幀率、碼率等QoS質(zhì)量指標(biāo)監(jiān)控，帶寬回源率、成本指標(biāo)，以及最后一公里觀眾端卡頓、秒開、黑屏等QoE指標(biāo)。這樣就實(shí)現(xiàn)端到端實(shí)時(shí)的秒級(jí)監(jiān)控，如果發(fā)現(xiàn)異常情況可以及時(shí)反饋給顧客和調(diào)度系統(tǒng)，比如我們?cè)诘谝还锇l(fā)現(xiàn)幀率、碼率出現(xiàn)異常，就通知客戶在主播端進(jìn)行策略調(diào)整，如果實(shí)在網(wǎng)絡(luò)發(fā)現(xiàn)異常，就做一些節(jié)點(diǎn)用戶數(shù)據(jù)調(diào)動(dòng)或其他策略的優(yōu)化，而當(dāng)觀眾端出現(xiàn)體驗(yàn)異常時(shí)，智能調(diào)度系統(tǒng)會(huì)做調(diào)度策略的調(diào)整。以上整個(gè)全鏈路監(jiān)控系統(tǒng)覆蓋了12路直播全場(chǎng)景和全協(xié)議監(jiān)控。

直播流全鏈路監(jiān)控系統(tǒng)——從第一公里、到媒體網(wǎng)絡(luò)、再到最后一公里，整個(gè)都是可視化的，這樣可以提升問題診斷的效率。

第三步體驗(yàn)提升，視頻直播體驗(yàn)提升大致分為兩種方法。其一是通過運(yùn)維同學(xué)的經(jīng)驗(yàn)實(shí)施，另一種方法是基于智能調(diào)度系統(tǒng)——基于端、邊、云數(shù)據(jù)協(xié)同做智能調(diào)度體驗(yàn)優(yōu)化，這種方法利用了統(tǒng)一視頻數(shù)據(jù)湖技術(shù)，實(shí)現(xiàn)端、邊、云的QoS、QoE、QoC數(shù)據(jù)的協(xié)同，通過智能分析引擎生成流、客戶、網(wǎng)絡(luò)鏈路、節(jié)點(diǎn)、觀眾的實(shí)時(shí)畫像，基于實(shí)時(shí)畫像+調(diào)度策略由智能調(diào)度系統(tǒng)實(shí)施智能調(diào)度，在成本可控的情況下做到最佳體驗(yàn)。衡量指標(biāo)主要選取兩類指標(biāo)，一類指標(biāo)是成本指標(biāo)，比如通過回源率來衡量成本是否下降；另一類指標(biāo)為體驗(yàn)指標(biāo)，通過卡頓率、秒開率等判斷用戶體驗(yàn)是否有提升。以上是視頻直播在質(zhì)量監(jiān)控和體驗(yàn)提升的一些實(shí)踐案例。

3 “ 實(shí)時(shí)音視頻RTC體驗(yàn)優(yōu)化實(shí)踐

接下來分享實(shí)時(shí)音視頻RTC的體驗(yàn)優(yōu)化的實(shí)踐案例。RTC屬于第二代音視頻業(yè)務(wù)，它和第一代直播在業(yè)務(wù)方面有很多差異，比較關(guān)注時(shí)延以及行為級(jí)的監(jiān)控，基于這些差異性，我們也采用了三個(gè)不同優(yōu)化體系。

第一點(diǎn)是質(zhì)量監(jiān)控，RTC質(zhì)量監(jiān)控體系建立了覆蓋通話、網(wǎng)絡(luò)、成本、設(shè)備等六個(gè)維度的立體質(zhì)量監(jiān)控體系，覆蓋QoE、QoS、QoC三十多個(gè)指標(biāo)。其中核心指標(biāo)包括等碼率、幀率、丟包率、抖動(dòng)質(zhì)量QoS指標(biāo)和秒開率、時(shí)延、卡頓率、入房和選看成功率等用戶體驗(yàn)QoE指標(biāo)，以及帶寬等成本QoC指標(biāo)，與直播監(jiān)控指標(biāo)相比，特別是端到端的時(shí)延指標(biāo)，這是基于前面提到的差異性著重關(guān)注的。

基于監(jiān)控體系，第二個(gè)工作是問題診斷，我們首先建立了三類體驗(yàn)質(zhì)量數(shù)據(jù)服務(wù)，第一類是監(jiān)控指標(biāo)數(shù)據(jù)服務(wù)，主要覆蓋的是服務(wù)端、客戶端、設(shè)備、QoE、QoS、QoC，這些數(shù)據(jù)放在統(tǒng)計(jì)庫(kù)、時(shí)序庫(kù)中使用。第二類是網(wǎng)絡(luò)端所有控制面和媒體面的事件數(shù)據(jù)服務(wù)。第三類是終端事件數(shù)據(jù)服務(wù)，包括終端側(cè)用戶行為事件，例如加入房間、切換角色、操作麥克風(fēng)或攝像頭等事件，此外還包含了終端設(shè)備數(shù)據(jù)，例如CPU、內(nèi)存、攝像頭等。

基于這三類體驗(yàn)質(zhì)量數(shù)據(jù)服務(wù)，RTC構(gòu)建了三層問題診斷體系。

第一層構(gòu)建是覆蓋全鏈路、全維度的QoE/QoS實(shí)時(shí)監(jiān)控體系，可以在分鐘級(jí)完成體驗(yàn)診斷和快速恢復(fù)問題。上圖案例中，紅色1是十一點(diǎn)時(shí)發(fā)現(xiàn)成功率告警，我們通過維度下降發(fā)現(xiàn)是某一個(gè)客戶的APP下降很厲害，最后通過節(jié)點(diǎn)維度定位到是天津某一個(gè)SFU節(jié)點(diǎn)服務(wù)異常，整個(gè)故障恢復(fù)時(shí)間在分鐘級(jí)就可以完成。

第二層監(jiān)控體系是基于網(wǎng)絡(luò)行為數(shù)據(jù)和端側(cè)行為數(shù)據(jù)的一鍵式用戶個(gè)例通話QoS調(diào)查能力，它可以幫助我們快速解決RTC業(yè)務(wù)單用戶的體驗(yàn)問題和投訴。上圖的案例通過房間信息以及用戶行為事件信息，快速判斷用戶聽不到聲音是因?yàn)檫M(jìn)行了靜音操作導(dǎo)致的，整個(gè)過程也是在分鐘級(jí)完成。

第三層問題診斷能力是在第一層QoE/QoS全局指標(biāo)監(jiān)控和第二層QoS行為調(diào)查能力基礎(chǔ)上的體驗(yàn)問題自動(dòng)診斷高級(jí)能力，它通過監(jiān)控三十多個(gè)指標(biāo)產(chǎn)生二十多個(gè)異常事件，并通過學(xué)習(xí)模型，給出影響的六類體驗(yàn)場(chǎng)景。這樣系統(tǒng)就可以快速自動(dòng)化地判斷出體驗(yàn)發(fā)生異常的原因，并且快速傳遞給客戶。

4 “ 音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺(tái)

上述介紹的是華為云RTC業(yè)務(wù)體驗(yàn)優(yōu)化的實(shí)踐案例，做體驗(yàn)質(zhì)量?jī)?yōu)化工作是需要平臺(tái)完成的，我們下面來分享華為是如何構(gòu)建音視頻服務(wù)全流程質(zhì)量監(jiān)控平臺(tái)的。首先從數(shù)據(jù)采集、傳輸、計(jì)算到消費(fèi)四個(gè)環(huán)節(jié)的億級(jí)規(guī)模音視頻質(zhì)量監(jiān)控大數(shù)據(jù)平臺(tái)，包括支持端、邊、云全數(shù)據(jù)采集和傳輸?shù)臄?shù)據(jù)網(wǎng)絡(luò)，支持實(shí)時(shí)計(jì)算、離線計(jì)算和機(jī)器學(xué)習(xí)的多模數(shù)據(jù)處理系統(tǒng)，以及支持運(yùn)維、運(yùn)營(yíng)、客戶的數(shù)據(jù)消費(fèi)服務(wù)體系。

在構(gòu)建平臺(tái)時(shí)，會(huì)遇到很多性能、質(zhì)量、效率以及實(shí)時(shí)性的問題，如何構(gòu)建一個(gè)大容量、低成本、高效率和可信數(shù)據(jù)質(zhì)量的平臺(tái)？我們采用了批流一體和存算分離的架構(gòu)。批流一體解決的是開發(fā)效率的問題，我們同一個(gè)指標(biāo)可能在批流一體中計(jì)算一次就可以對(duì)所有服務(wù)使用，不需要重復(fù)開發(fā)，同時(shí)我們有一站式數(shù)據(jù)開發(fā)平臺(tái)可以解決開發(fā)效率的提升。成本問題上我們采用的是存算分離——存儲(chǔ)和計(jì)算是分離的，存儲(chǔ)采用的是對(duì)象存儲(chǔ)，價(jià)格相對(duì)低廉，計(jì)算引擎采用的是前面介紹的批流一體的方式，這樣可以做到成本最佳。質(zhì)量方面是采用了“ODS-DWD-DWS-ADS”四層數(shù)據(jù)治理平臺(tái)，保證所有數(shù)據(jù)可跟蹤、可管理，確保任何指標(biāo)數(shù)據(jù)都是實(shí)時(shí)、完整、準(zhǔn)確的。

在有了大容量、低成本的平臺(tái)后，我們還面臨斷網(wǎng)、設(shè)備故障等問題。我們?cè)谄脚_(tái)可用性上基于云服務(wù)實(shí)施，采用跨Region主備容災(zāi)和多AZ模式，整體SLA可達(dá)99.99%，來自端、邊緣、云等全部六類數(shù)據(jù)不丟失，監(jiān)控、調(diào)度等六類服務(wù)不降級(jí)。這樣我們?cè)谡麄€(gè)環(huán)境下，任何環(huán)節(jié)出現(xiàn)異常，在質(zhì)量和服務(wù)提升上都可以正常工作。

5 “ 總結(jié)與展望

回顧本次分享，音視頻體驗(yàn)發(fā)展有三個(gè)特點(diǎn)：第一，用戶對(duì)體驗(yàn)的要求是真實(shí)感越來越強(qiáng)，直播、RTC等用戶要求更高；第二，在用戶體驗(yàn)上要求越來越互動(dòng)；第三，面對(duì)各種網(wǎng)絡(luò)、終端業(yè)務(wù)環(huán)境越來越復(fù)雜。

為了保證音視頻體驗(yàn)質(zhì)量，我們有3個(gè)利器：第一，針對(duì)不同業(yè)務(wù)場(chǎng)景，構(gòu)建“先監(jiān)控再診斷后提升”的體驗(yàn)質(zhì)量體系；第二，基于“數(shù)據(jù)湖+數(shù)據(jù)服務(wù)”解決用戶差異性和市場(chǎng)不確定性的問題；第三，在實(shí)施過程中要平衡成本和體驗(yàn)的關(guān)系。

對(duì)未來音視頻業(yè)務(wù)體驗(yàn)我們有三點(diǎn)規(guī)劃方向：一是持續(xù)基于端、邊、云數(shù)據(jù)協(xié)同來驅(qū)動(dòng)QoE、QoS、QoC優(yōu)化；二是構(gòu)建音視頻內(nèi)容質(zhì)量的智能評(píng)估體系；三是建立第三代XR音視頻體驗(yàn)質(zhì)量規(guī)范，如沉浸感等。

以上是本次分享的全部?jī)?nèi)容，謝謝大家。

原文標(biāo)題：云原生時(shí)代——華為云音視頻質(zhì)量監(jiān)控與優(yōu)化實(shí)踐

文章出處：【微信公眾號(hào)：LiveVideoStack】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq