案例介紹

騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作，利用CV-CUDA加速視頻增強(qiáng) AI 工作管線(xiàn)中的前后處理模塊，結(jié)合NVIDIA TensorRT，將視頻增強(qiáng) AI 全流程置于 GPU 上進(jìn)行加速，前后處理部分效率提升 16% - 38%。

客戶(hù)簡(jiǎn)介

騰訊云音視頻 PaaS 平臺(tái)（以下簡(jiǎn)稱(chēng)騰訊視頻云）專(zhuān)注技術(shù)產(chǎn)品，構(gòu)建了行業(yè)中極速高清智能轉(zhuǎn)碼、超低時(shí)延快直播的音視頻解決方案，已連續(xù)四年居于市場(chǎng)份額和解決方案首位^[1]，在音視頻領(lǐng)域已有超過(guò) 21 年的技術(shù)積累，騰訊云音視頻已持續(xù)支持國(guó)內(nèi) 90% 的音視頻客戶(hù)。其中騰訊云 MPS 媒體處理服務(wù)為海內(nèi)外客戶(hù)提供全場(chǎng)景極速高清轉(zhuǎn)碼，音視頻增強(qiáng)，專(zhuān)有云 codec SDK 等服務(wù)，在近期全球 MSU 云端編碼大賽及 SLC 評(píng)測(cè)中，所參評(píng)項(xiàng)目均取得了第一名的好成績(jī)^[2]。

使用 GPU 加速視頻增強(qiáng) AI 全流程

本案例中，騰訊云音視頻 PaaS 平臺(tái)與 NVIDIA 團(tuán)隊(duì)合作，利用CV-CUDA加速視頻增強(qiáng) AI 工作管線(xiàn)中的前后處理模塊，結(jié)合NVIDIA TensorRT，將視頻增強(qiáng) AI 全流程置于 GPU 上進(jìn)行加速。集成 CV-CUDA 后相比加速前，前后處理部分效率提升 16% - 38%，端到端效率提升 6% - 10%。

加速畫(huà)質(zhì)增強(qiáng)全鏈路工作管線(xiàn)的挑戰(zhàn)

畫(huà)質(zhì)增強(qiáng)是騰訊視頻云提供的主要視頻類(lèi)云服務(wù)之一，其通過(guò) 3D 去噪、色彩增強(qiáng)、超分辨率、插幀等處理技術(shù)，有效處理噪點(diǎn)、馬賽克、抖動(dòng)、頓挫感等問(wèn)題，提高畫(huà)面清晰度，讓畫(huà)質(zhì)重生。該服務(wù)的工作管線(xiàn)基于 ffmpeg filter 構(gòu)建，整體工作流如下圖所示：

圖 1. 畫(huà)質(zhì)增強(qiáng)工作管線(xiàn)示意圖

該服務(wù)中應(yīng)用了三種主要的 AI 模型，包括：去噪模型、色彩增強(qiáng)模型以及超分辨率模型。這些模型的工作管線(xiàn)中，除模型推理外，還包含了一系列前后處理操作，包括：yuv2rgb、copyMakeBorder、normalize、hwc2chw、chw2hwc、float2uint8、rgb2yuv 等。

此前，這些前后處理操作使用自定義的 CUDA 算子在 GPU 上處理或使用 OpenCV 在 CPU 上處理，計(jì)算效率并不理想。一方面，這使得前后處理在整個(gè)工作管線(xiàn)中占據(jù)了可觀(guān)的開(kāi)銷(xiāo)；另一方面，前后處理可能增加 CPU 負(fù)載，影響 CPU 上其他任務(wù)的執(zhí)行效率。因此，如何盡可能地節(jié)省前后處理引入的開(kāi)銷(xiāo)，緩解 CPU 負(fù)載，成為了加速畫(huà)質(zhì)增強(qiáng)全鏈路工作管線(xiàn)的挑戰(zhàn)。

視頻增強(qiáng) AI 前后處理效率提升 16% - 38%

騰訊視頻云與 NVIDIA 合作，將 CV-CUDA 集成進(jìn)去噪模型、色彩增強(qiáng)模型和超分辨率模型的工作流中，替換原有的 CUDA 算子及 OpenCV CPU 算子，從而加速前后處理部分的計(jì)算效率，提升 AI 任務(wù)端到端的推理效率。下表展示了對(duì)于 1080p 輸入圖像，應(yīng)用 CV-CUDA 前后，上述三種模型工作管線(xiàn)的處理速度（單位：ms）:

圖 2. 使用 CV-CUDA 后，處理

1080p輸入圖像的效率提升效果

可以觀(guān)察到，使用 CV-CUDA 后，三種模型的前后處理部分的計(jì)算效率有了不同程度的加速，模型整體性能也得以提升。此種性能提升尤其在前后處理耗時(shí)占比大的任務(wù)中將更加明顯。

持續(xù)合作，實(shí)現(xiàn)視頻 AI 全鏈路 GPU 加速

騰訊視頻云未來(lái)將持續(xù)與 NVIDIA 合作，對(duì)提升視頻增強(qiáng)服務(wù)處理效率方面進(jìn)行不斷地探索。例如，雙方將共同嘗試引入 TensorRT 最新的特性，進(jìn)一步加速視頻增強(qiáng)各類(lèi)模型的推理性能；另外，雙方將繼續(xù)推動(dòng)利用 CV-CUDA 加速更多視頻類(lèi)工作管線(xiàn)的處理，實(shí)現(xiàn)視頻 AI 全鏈路 GPU 加速。

準(zhǔn)備好開(kāi)始了嗎？

CV-CUDA 搶先體驗(yàn)開(kāi)發(fā)者申請(qǐng)：

https://developer.nvidia.cn/zh-cn/cv-cuda/early-access

[1] 資料來(lái)源于騰訊云音訊頻開(kāi)發(fā)者社區(qū)官網(wǎng)，其數(shù)據(jù)來(lái)源于國(guó)際數(shù)據(jù)公司（IDC）發(fā)布的《中國(guó)視頻云市場(chǎng)跟蹤(2021 上半年) 》https://cloud.tencent.com/developer/article/2046119。 [2] 資料來(lái)源于騰訊云音訊頻開(kāi)發(fā)者社區(qū)官網(wǎng)，據(jù)莫斯科國(guó)立大學(xué)（MoscowState University）于 2021 年與 2022 年舉辦的 MSU 云端視頻轉(zhuǎn)碼大賽（CloudVideo Transcoding Services Comparison）成績(jī)公布https://cloud.tencent.com/developer/article/1794385; https://cloud.tencent.com/developer/article/2057612 。

點(diǎn)擊“閱讀原文”，或掃描下方海報(bào)二維碼，在 8 月 8日聆聽(tīng)NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 SIGGRAPH 現(xiàn)場(chǎng)發(fā)表的 NVIDIA 主題演講，了解 NVIDIA 的新技術(shù)，包括屢獲殊榮的研究，OpenUSD 開(kāi)發(fā)，以及最新的 AI 內(nèi)容創(chuàng)作解決方案。