在視頻的發展歷程中，對于體驗感的極致追求貫穿始終。

從短視頻到直播，從云游戲到 VR 電競，從視頻會議到虛擬機器人，盡管應用場景在不斷變化，但不變的是，用戶的需求始終是以更加高清、更低延時，更強的沉浸性和交互性為導向。在這樣的需求推動下，視頻處理精細化成為了行業的必然發展方向。然而，這種精細化的演進之路卻并非一帆風順，需要在成本和體驗之間找尋最佳的平衡點。當前，互聯網的流量 80% 來自視頻，僅短視頻領域的用戶規模就達到 5 億。如何能夠把大量視頻以更加高效、高性價比的方式計算、存儲、傳播是對視頻平臺最大的挑戰。

近日，InfoQ 與 Intel 聯合打造的「英特爾 至強 實戰課」，特邀火山引擎點播多媒體平臺技術負責人張清源與英特爾云計算資深架構師陸揚進行分享，二位針對如何更好地擁抱視頻化浪潮，如何實現更精細化的視頻處理，如何平衡成本與體驗等眾多實際問題展開探討。InfoQ 將本場分享內容整理成文，希望對大家有所幫助。

01

成本與體驗到底是不是零和博弈？

隨著短視頻行業的蓬勃崛起和 AI、異構等技術的快速發展，視頻處理系統的架構發生了很大的變化。在視頻處理的演變過程中，逐漸出現端云結合的處理方式，進而實現了更加靈活和多樣的視頻處理體驗。張清源以點播業務為例，介紹了視頻處理的基本工作模式。

點播鏈路主要分為四個部分：端側生產、云端生產、審核和下發。端側生產是指使用移動設備拍攝視頻，并進行增強和編輯，然后將視頻上傳至云端發布。其次是云端生產，包含兩個流程：視頻處理系統對視頻進行處理，生成不同檔位的視頻；審核系統對視頻進行合規審核。完成這兩個流程后，視頻可以進行下發，通過下發系統最終在播放器上播放。

當前，字節點播業務規模龐大。從計算方面來看，視頻處理系統規模已經達到數百萬核，預計不久的將來可能達到千萬核。存儲容量已經達到 EB 級別，帶寬規模超過 100TB。因此，點播業務的成本巨大。

點播業務的成本主要由存儲成本、轉碼成本、CDN 帶寬成本等構成，其中 CDN 帶寬成本占到整體成本的 70% 以上。點播業務的體驗主要指播放體驗。播放體驗受到 QoS 指標（播放失敗率、起播時間、卡頓率、視頻質量等）、QoE 指標（播放次數、播放時長、完播率等）等多項指標的影響，且 QoS 指標也會對 QoE 指標產生影響。那么，如何優化成本和體驗呢？

在成本方面，火山引擎分別針對影響帶寬成本、計算成本和存儲成本的因素進行優化。例如，調整視頻的碼率可以降低帶寬成本。同時，還可以減少不必要的數據傳輸，避免浪費帶寬，優化緩存機制，減少不必要的數據緩存。對于計算成本，利用異構資源和工程優化來降低計算成本。在存儲方面，采取轉冷存儲或刪除低觀看率的檔位等措施來節省存儲成本。

在提升體驗方面，視頻處理系統最主要的是對畫質進行處理。而在播放端，包括首幀優化、移動端后處理等都可以改善播放體驗。此外，還可以優化卡頓問題和同步性，以提升整體體驗。

盡管單獨優化某一方面可以采取很多措施，但成本和體驗存在置換關系。例如，下發低檔位的視頻或調整轉碼參數可以降低成本，但會導致體驗略有損失。預加載可以優化首幀和提升體驗，但也會增加數據浪費和帶寬成本。因此，在決策時，需要精細評估找到成本和體驗的平衡點。通過 A/B 實驗評估體驗影響，最終，通過 ROI 評估判斷是否將優化項應用或進一步優化。

02

視頻處理系統精細化演進之路

由于視頻業務規模逐漸龐大，哪怕是很小的優化，放在大規模的系統里收益都非常可觀。因此，視頻處理系統向數據驅動的精細化演進的方向發展很有必要。視頻處理系統的精細化演進可拆解為畫質精細化、資源精細化、策略精細化三個方面。

畫質精細化

畫質精細化即為每個視頻定制處理流程，解決如何處理視頻的問題。它是針對云端視頻處理流程的一部分，從視頻分析到視頻前處理再到視頻編碼的過程。視頻分析使用檢測算法提取高維特征，為下一步處理決策提供依據。視頻前處理采用增強算法對原片進行處理，然后使用編碼器和內容自適應算法進行視頻編碼。

盡管云端處理是重要的，但張清源認為，未來視頻處理系統將是端到端的統一系統。隨著移動端計算性能的提升，一些算法可以在移動端進行補充，既可以節省云端計算資源，又可以結合用戶算法策略。因此，需要建立云端和移動端之間的策略來連接它們。通過建設離線畫質分析平臺，即端到端實驗仿真平臺，實現端云算法結合，結合全鏈路仿真，獲得最佳算法策略，實現線上收益最大化。

資源精細化

資源精細化，即在處理視頻和資源規劃中選擇最合適和最優的資源配置，解決使用什么資源的問題。過去，視頻處理系統幾乎 100% 使用 CPU 資源，但隨著時間的推移，除了 CPU 資源外，還可以選擇具有彈性的 GPU 資源及其他異構資源進行使用。

在評估這些資源時，火山引擎會首先考慮業務特點，因為不同的業務對于壓縮性能和任務延遲的要求可能不同。其次，需考慮峰谷時段選擇合適的資源。高峰期可借用離線彈性資源以降低成本。第三，需要結合資源的特性，比如 CPU 最大的優點是穩定，通用性好，但是對于算力要求比較高，可能 GPU 更合適。此外，需要考慮預算、交付周期、線上實驗、突發流量和容災需求。資源分布在點播和實時業務中也需考慮。確定最優資源和配比，考慮當前和未來業務情況，進行分析和決策。

策略精細化

策略精細化，即結合業務場景的特點，尋找最佳的資源使用方式，用最少的資源實現最佳用戶體驗。

現有的策略能力有熱度轉碼和冷啟動。熱度轉碼是根據視頻熱度階段選擇轉碼檔位，而冷啟動則通過預測模型預測視頻的整體價值。此外，削峰填谷也是策略精細化的常見方式之一，其是基于視頻價值函數曲線，考慮帶寬收益、轉碼成本、播放成本和業務價值等因素，當視頻價值大于零時選擇轉碼高壓縮率檔位，以實現更精確地控制。最后是轉存聯動，指在轉碼和存儲之間進行置換，特別是針對相對冷門的視頻。對于這些視頻，可以刪除其中的一些檔位以節省存儲成本，但在需要時可以再次轉碼并恢復這些檔位，從而在計算和存儲成本之間實現節約，降低整體點播成本。

以上三種視頻處理系統精細化演進的策略，在火山引擎的很多業務上都有應用，并且取得了非常大的成本和收益。但是，火山引擎希望這些能力不只是定制化的能力，而是能夠朝著更加通用化和產品化的方向發展，這對成本優化非常重要，但也是一個具有挑戰性的任務。

03

軟硬一體的視頻處理體系架構

成本體驗的極致優化和業務的規模效應，促使視頻處理系統向數據驅動的精細化方向演進。在視頻處理系統精細化演進的趨勢下，視頻云解決方案應運而生。視頻云解決方案通過整合大數據分析、人工智能、算法優化等技術，將數據驅動、策略優化和資源管理等能力融入視頻處理和傳輸服務。

在眾多的視頻云解決方案中，英特爾視頻云解決方案以其先進的硬件技術和開放式的架構脫穎而出。它利用英特爾強大的處理能力和豐富的視頻處理經驗，提供高效、可靠、高質量的視頻處理能力，在資源精細化管理和策略優化方面具有獨特優勢。

首先，通過 CPU 平臺，它提供了高質量，編碼靈活、通用性強且穩定可靠的視頻處理方案。其次在密度成本方面，通過一機多卡高密度 GPU 編解碼，實現了更高的計算密度和成本效益。在大部分情況下，視頻處理平臺也采用了異構平臺的方式，即在云計算或視頻處理集群中同時使用 CPU 和 GPU 等加速卡。這種異構平臺的優勢在于可以靈活配置計算資源，根據具體應用需求分配不同的計算算力和計算單元。對于質量、編程靈活性、通用性要求較高的應用，使用以 CPU 為主的集群進行處理。而對于游戲等需要渲染和密集計算的應用，通過 GPU 加速方案實現高效處理。在異構平臺中，關鍵是如何管理和調配 CPU 和 GPU 的計算能力，以實現最佳的時延和吞吐性能。

英特爾的軟硬件解決方案在視頻領域應用廣泛，主要集中在視頻編解碼、視頻分析、游戲、遠程桌面（VDI）、內容分發網絡（CDN）、沉浸式 AR/VR/XR 六大領域。旨在幫助用戶在視頻領域的不同應用場景中獲得最佳性能。

在視頻編解碼平臺，基于英特爾的 CPU 和 GPU 平臺可以搭建一個高效能的異構計算平臺。在軟件方面，包括提供了軟件編碼、硬件編碼、軟件開發工具庫、性能監控工具等。英特爾的一些軟件和工具已經開源，可通過相應的鏈接進行下載。

在視頻分析領域，英特爾提供了基于其底層硬件，如 CPU、GPU 和 FPJA（例如 Habana）的解決方案。這些硬件可以與各種與人工智能相關的框架和平臺集成，例如英特爾 發行版 OpenVINO 工具套件，它集成了最新的 AMX 指令集，以實現最佳的 AI 推理性能。此外，英特爾還提供了經過優化的 TensorFlow 和 PyTorch 版本以及自己的模型庫（ModelZoo），并將優化后的 AI 模型開源，以便用戶集成、測試和應用。

在游戲領域，英特爾提供了基于安卓和 Windows 的云游戲解決方案，并提供了 GPA 工具，用于監控游戲和 GPU 的性能，并實現最佳的性能調優。

對于 VDI、CDN 等領域，英特爾也提供了相應的軟硬件配置、庫、SDK 和 Library 等工具，用戶可以方便地下載和使用。

所有這些解決方案都基于以英特爾 至強為主的 CPU 平臺、以 Xe 為主英特爾 dGPU 平臺和 oneAPI 軟硬件，并已經得到廣泛應用和成熟驗證。

隨著每一代至強處理器架構的升級，視頻處理性能持續提升。從 Catholic 8260 到之前的 istake，再到現在的第四代英特爾 至強 可擴展處理器（Sapphire Rapids），視頻編解碼和轉碼的處理能力呈線性增長。在第四代英特爾 至強 可擴展處理器問世之前，所有的 8K 實時編解碼賽事都需要使用四個至強處理器。而今年隨著第四代至強的推出，已經能夠在兩個至強處理器或兩個 Sapphire Rapids 處理器上實現 8K 的實時轉碼，性能更優，性價比更高。

在基于第四代英特爾 至強 可擴展處理器和 GPU 的異構視頻處理平臺中，CPU 負責處理視頻業務的接收和分發，作為整體調度中心。CPU 編解碼產生的視頻質量可靠且高。GPU 主要處理速度敏感型的在線業務，包括直播、游戲和渲染加速。使用小型且高密度的 GPU 部署，可進一步降低總體成本。根據需求進行擴展和優化，提供更好的性價比和吞吐量。這種異構平臺已經在許多應用領域得到了廣泛應用，例如直播編解碼、賽事轉播、游戲 VDI 超分和視頻分析等。它為客戶帶來了更高的性能和性價比，滿足了不同領域的視頻處理需求。

在異構平臺中，如何協同調配 CPU、GPU 和其他加速卡之間的任務是非常重要的。為了解決這個問題，英特爾推出了名為 Deeplink 的技術。Deeplink 技術提供了 Dynamic Power Share（動態功耗共享）、Stream Assist（流式訪問）等協同處理和加速的方法，以提高異構平臺的整體性能和效率。 通過 Deeplink 技術，英特爾可以在 Flex140 這款 GPU 卡上穩定實現 8K 的實時 GPU 編解碼。

基于至強 CPU 和 GPU，英特爾構建了可擴展的視頻處理器平臺。該平臺涵蓋底層硬件和軟件基礎架構，包括操作系統、硬件加速器、Docker、API、數據庫和 SDK 等。雖然英特爾被認為是一家以硬件為主的公司，但也擁有龐大的軟件團隊。從底層的 Firmware 到驅動、操作系統，再到 Kubernetes、虛擬化和容器化環境的調度和利用，軟件團隊致力于與合作伙伴合作，充分利用硬件架構的特性，為視頻云上的各種應用提供高效的軟件解決方案。

04

極致的性能，成本與體驗“魚與熊掌”兼得的密碼

談到這里，回歸最初的問題“成本與體驗到底是不是零和博弈”想必大家都有了答案。陸揚表示，成本的優化，無外乎是性價比的問題。當性能提高到一定水平，性價比、整體成本自然就有所下降。在英特爾平臺的迭代中，不斷提升核心計算能力，包括頻率、緩存大小和內存容量等，都是希望通過這些升級來降低整體擁有成本，提高性價比。在過去幾十年以及未來，英特爾的軟硬件架構解決方案將繼續與合作伙伴一起致力于提高視頻云行業的服務質量、總體性能和應用成本。

有關未來視頻處理系統的趨勢和發展方向，張清源持極其樂觀的態度。他表示，整個視頻領域未來會朝著更高清、更沉浸、更交互的方向去演進。算力的增長還會繼續，并將推動計算資源的創新，從而提高計算效率和降低成本。其次，AI 算法和端到端算法聯動將成為重要的發展方向，使視頻處理從全鏈路角度考慮整體效果。此外，精細化也是一個趨勢，類似于推薦系統的個性化推薦，視頻處理可能會結合人群特點進行定制化處理。這些方向都有很大的潛力。

陸揚補充道，視頻的發展趨勢包括分辨率的提升和適配范圍的擴大。視頻分辨率已經發展到 8K，然而，這種超高清分辨率對計算中心提出了巨大挑戰，因為處理這樣的視頻需要處理龐大的計算量。另外，AI 應用的迅猛發展也對計算中心提出了挑戰。無論是 CPU、加速器還是異構平臺，如何高效智能地運行越來越復雜的應用和計算中心，使計算能夠無縫銜接，具備全鏈路的動態感知和自適應能力，都是未來的重要方向。基于此，陸揚希望英特爾的最新硬件架構平臺能夠適應不斷變化的視頻云應用，更好地服務大眾需求。

點擊視頻了解實戰課精彩內容！

點擊閱讀原文，了解更多英特爾云及互聯網行業創新實踐。

文章轉載自：InfoQ

作者：張雅文

一般提示和法律聲明：

文章僅代表媒體觀點

文章圖片等素材的版權歸其所有者