2018年的第一個月對于編輯碼標準生態而言很不平靜，Apple加入AOM聯盟支持AV1，國產的AVS2宣布開源，MPEG創始人、主席Leonardo Chiariglione發文表示“MPEG商業模式已經破裂” 。盡管AV1和AVS2走向成熟還需時日，但至少讓用戶有了更多選擇。Hulu全球高級研發經理傅德良撰文分析了各主流編解碼器的優勢與不足，并對編解碼器的選擇給出了自己的建議。

文 / 傅德良

時光飛逝，轉眼間已經來到了2018年。在過去的幾年中，整個音視頻行業隨著互聯網的大潮迅速發展，已經使得全球的用戶得以通過視頻的這種高密度信息載體與整個世界有機連接在了一起。

然而讓整個業界多少有些沒有預料到的是，在線音視頻行業存在與發展的重要基石——視頻編解碼標準的“權力交接”直到今日仍撲朔迷離。2018年已經是H.264發布的第15個年頭，H.264的官方繼任者HEVC也已經在不知不覺中正式發布5年了。然而， 雖然目前整個工業界對于下一代音視頻編解碼標準帶來的壓縮效率的提升需求非常迫切，但是究竟哪一個標準、哪一款編解碼器才是繼承H.264 天下的真龍天子，目前仍是未知數。

H.264：一統江湖

H.264 / AVC是迄今為止業界最為成功的音視頻編解碼標準。在過去的十數年間，H.264標準出現在了各種視頻應用的場景中。在編碼器端，基于H.264標準的開源編解碼器x264幾乎成為了各大小流媒體服務公司的標配；在解碼器端，H.264的解碼支持涵蓋了各類專用與通用設備，例如桌面瀏覽器、各類手機、計算機、攝像攝影設備、游戲主機、智能電視、各類盒子等等。

統一的編碼標準使得參與整個視頻行業各個環節的公司可以各司其職，分別關心自己專注的業務與模塊。只要保證自己的產品能夠符合H.264標準，就可以在視頻的行業中暢行無阻，而無需擔心與上下游直接的銜接和配合出現問題。這種統一的局面使得整個業界避免了大量的重復開發和調試，在客觀上顯著提升了整個視頻行業的發展速度。

H.264之所以能夠獲得空前的成功，最重要的原因是其技術先進，壓縮效率比上一代編解碼標準顯著提高。另一方面，H.264相對開明的專利授權機制和費率也是一大助力。尤其是H.264對于在線視頻制作和傳輸端免費，大幅提升了H.264在互聯網上的采用率。

HEVC：負重的繼任者

H.264官方的繼任者是由ITU-T和MPEG聯合提出和發布的H.265 / HEVC。作為與H.264同根同源的下一代標準，HEVC從立項起，其目標就是有朝一日替代H.264。為了達到這一目的， ITU-T和MPEG在標準制定初期就建立了聯合工作組，集結了全世界最優秀的視頻專家進行了刻苦攻關。在此基礎之上，工作組還在制定HEVC的過程中汲取了H.264標準在工業化和實踐中的經驗教訓：HEVC標準充分考慮了解碼器端的復雜度和硬件實現的復雜度，使得整個標準的實現成本得到了合理控制。

可以說，HEVC在技術上是一代集大成的編解碼標準。然而，正如歷代偉大君王的子嗣一樣，HEVC從誕生起也承擔了額外的壓力。一方面為了達到盡量高的性能，在編碼工具的選擇上，HEVC 以性能和速度為主要衡量標準，采納了各路技術。另一方面，H.264的巨大成功也讓業界各公司意識到了音視頻編碼標準的重要性和重大潛力，因此希望通過參與標準化工作獲得較高的經濟回報。這些因素綜合造成了目前HEVC 專利授權上的復雜局面，而潛在的高昂專利費用是目前HEVC全面應用的最大阻礙。

時至今日，HEVC憑借著先發優勢、過硬的技術性能和在學界、標準化組織中深刻的影響力，仍然是工業界下一代視頻編解碼標準的有力競爭者。 然而其進一步的工業化目前受到了專利授權費用的顯著影響，未來仍不明朗。

VP9：不可忽視的諸侯

早在H.264的時代，VP系列標準就是市場上一個勤奮的追趕者。在被Google收購、開源并發展數年后，VP系列的最新標準VP9已經成長為HEVC的一個不可忽視的競爭對手。VP9完全開源免費的政策是其重要的優勢，在瀏覽器和安卓系統中的良好解碼支持也為其應用打下了良好的基礎。目前Google旗下的Youtube全面使用了VP9作為視頻編解碼標準，Netflix也在移動端部分使用了VP9。 VP9雖然聲名不顯，但是憑借Google的影響力，在OTT市場的占有率上并沒有落后于HEVC。

VP9存在的問題主要在于人氣不夠高，沒有豐富、高效的編碼器選擇和廣泛的解碼器支持，這都使得其廣泛應用的前景蒙上陰影。此外，VP9的性能也并沒有受到業界的廣泛認可，業界對于其壓縮效率是否能夠達到與HEVC相當的水平仍然持保留態度。隨著Google將工作的重心逐漸轉移到AV1上，在下一代編解碼標準的競爭中，VP9扮演的更像是一個保底方案的角色。然而如果HEVC的專利費用問題持續發酵，AV1又遲遲不能廣泛部署，則VP9仍有希望上演以下克上的翻盤好戲。

AV1：新貴的挑戰

針對HEVC的專利問題，Google為首的多家公司成立了AOM（Alliance of Open Media，http://aomedia.org/）組織，專門研發相關的替代技術。AOM的目標是研發一套替代HEVC的免費開放視頻編解碼標準，這一標準被命名為AV1 （AOMedia Video 1）。AV1是基于Google的VP10開發的，并且融合了Xiph's/Mozilla的Daala 和Cisco的 Thor編碼器 / 標準的相關技術。

目前AOM組織的會員已經包括了瀏覽器相關主要廠商如Google，Mozilla和Microsoft；內容提供商如Google / Youtube， Netflix， Amazon 和hulu；硬件廠商如Intel，AMD，ARM和Nvidia。這一陣容已經基本涵蓋了在線視頻的整個產業鏈，可見AV1雖然起步較晚，但是整個工業界的布局也已基本成熟。近日Apple的加盟更是給AV1又注入一股強勁的力量。AV1代表的是朝氣蓬勃的互聯網行業，這個行業有充沛的資金和人才，并且具有更為開放和包容的心態，敢于提出免費、自由的新標準。AV1的橫空出世必將會對整個視頻標準化行業帶來有力的沖擊。

然而AV1也并非完美。一方面，AOM組織相比于ITU-T和MPEG還很年輕，對于標準化工作的協調組織上還有一定的差距，這一定程度上會影響整個標準制定的進度；另一方面，為了達到開源免費的目的，AV1在技術的選擇上有所限制，從而影響最終性能；最后，AV1相比于HEVC起步較晚，在硬件解碼、對于各種視頻封裝的支持、學界相應的優化研究等方面在一段時間內會相對落后。因此，AV1雖然具有較光明的前景，但是如要徹底擊敗HEVC也頗有難度。

其他選擇

目前除了HEVC和AV1，業界還有其他一些視頻編解碼標準可能在將來成為業界主流。例如ITU和MPEG在HEVC基礎之上提出的H.266 / FVC（Future Video Coding），國內自有知識產權的 AVS2、AVS3等。不論是哪一種標準，想要在將來的業界達到廣泛的采納，必須要在壓縮效率、授權費用和結構、軟硬件解碼支持覆蓋率、各類新特性的支持情況、可用編解碼器的成熟度等方面達到較好的綜合表現。

編碼標準的抉擇

在下一視頻編碼標準之爭風起云涌，贏家尚未成為定局之際，在線視頻的新功能和不斷增長的用戶對于高清流暢視頻的需求不斷增長的今天，如何在各種標準和編碼器之間進行選擇成為了各個流媒體服務提供商關心的重要問題。選擇正確的技術方案對于控制成本、提高系統穩定性、保證用戶體驗等方面都有重要作用，值得深入調研。在考察各標準時，主要需要考量的方面有如下幾個方面：

解碼器的支持情況

解碼器的支持情況是選擇視頻編碼標準時首先需要考察的。視頻解碼器結構復雜，開發周期長，對性能要求高。較為成熟的解碼器支持可大幅度降低OTT在線視頻公司研發成本并縮短服務上線周期。選擇一款解碼器覆蓋廣泛，解碼器支持成熟的視頻編碼標準是業內公司的共識。

在下一代視頻編碼標準中，HEVC由于起步較早并且有較多公司的支持，因此目前在硬件解碼器的支持方面相對較好。近兩年推出的大部分多媒體設備均內置了HEVC的硬件解碼器。在2017年，Apple設備也加入了HEVC解碼支持的陣營，至此HEVC已經完成了客廳設備、機頂盒與移動設備端的全面覆蓋。VP9的硬件解碼支持相對于HEVC較少，但也已經覆蓋了相當數量的安卓設備與機頂盒。AV1由于標準尚未定稿，因此硬件解碼的廣泛推廣尚需時日。

在瀏覽器端的解碼支持情況則大不相同。HEVC在桌面瀏覽器端的支持非常有限，目前只有Safari 和Edge瀏覽器支持HEVC解碼。VP9解碼則已經在除IE和Safari之外所有的主流瀏覽器上得到了支持。AV1標準雖未定稿，但目前從加入AOM組織的公司陣容看來，AV1將來在瀏覽器上的支持前景是值得期待的。

編碼器的成熟度

編碼器的質量和效率很大程度上決定了視頻編碼的效率。擁有豐富而強大的編碼器陣容會使得相關標準的生產部署速度和線上壓縮效率等得到極大的保證，因此在選取編碼標準時，市面上編碼器的成熟度和多樣性也是重要的考量因素。

編碼器從實現架構上講可以分為硬件編碼器和軟件編碼器，從商業模型上說可以分為開源編碼器，商用編碼器和私有編碼器。在下一代編碼標準中，HEVC目前在編碼器的選擇上是最為豐富的，例如開源的軟件編碼器如x265；多種商用的軟件解碼器；Intel、Nvidia等公司推出的硬件編碼器等。HEVC較為完善和規范的文檔也為各個廠商依據標準進行私有編碼器的開發打下了良好基礎。VP9在編碼器的支持方面相對較差。匱乏的文檔阻礙了編碼器的開發，目前市面上常見的VP9編碼器僅有開源軟件編碼器libvpx和少數幾款商用編碼器。AV1標準計劃在發布的同時提供一款參考編碼器，與HEVC、H.264以及其他很多標準參考軟件不同的是，AV1的參考編碼器致力于商業應用，因此其表現目前也受到了業界的廣泛關注。除此之外，一些編碼器廠商也已經緊鑼密鼓地開始了AV1編碼器的研發工作，相信不久的將來市面上也會出現多種AV1編碼器供各個廠商選擇。

新特性的支持

在視頻行業日新月異的今天，新特性的支持情況也需要在編碼標準選擇時予以考慮。各個標準由于推出時間和來源不同，在新特性和整個視頻傳輸標準鏈上的支持程度也各不相同。在選取視頻編碼標準時應當充分考慮潛在的新特性支持情況，從而避免重復和浪費的投資。

一些典型的新特性包括HDR視頻、360度及 VR視頻等。以HDR為例，目前業界的主流HDR格式都是以HEVC編碼為基礎的。因此若近期有HDR特性支持的需求，則HEVC的編碼能力是不可缺少的。

公司與業務需求

在視頻編碼標準的選擇中，歸根結底最為重要的因素是公司情況和業務需求。只有充分考慮公司和業務的需求，才能夠在編碼標準上做出正確的選擇。

首先需要考慮的是目前是否需要升級到下一代視頻編碼標準。當前H.264在各個方面都非常成熟，如果對于壓縮效率和新特性的支持要求不高，則可以選擇繼續使用當前的H.264體系。在各個新標準的解碼支持覆蓋全平臺之前，各公司仍然需要使用H.264來服務不支持下一代編碼的平臺，因此對于視頻編碼計算和視頻存儲而言，采用新一代標準在一定時間內都會帶來額外的成本。新標準帶來的好處是帶寬的節省、新特性（如4K、HDR）的支持和播放流暢度以及用戶體驗的提升。各家公司應當根據自身的具體情況進行分析做出選擇，而不是盲目跟進新標準、新技術。

其次需要考慮的需要支持的平臺類型。各標準在不同的設備上支持情況不同，因此在標準的選取時應當有一個全局和有前瞻性的考慮。例如，若公司業務重心在瀏覽器網頁端并且不開發自有解碼器，則應當更多考慮VP系列或AV1標準；若公司主打移動設備，則HEVC目前已經成為了一個相對成熟的選擇。除客戶端類型外，在考查平臺類型時還應考慮業務形態。例如當業務需要在端上做實時編碼時，則應當優先考慮擁有較為成熟硬件編碼器的標準。

在平臺類型考察的基礎之上，還應當對公司針對編解碼上下游的控制和對編解碼器開發的投入有充分理解。對編解碼上下游控制比較充分、對編解碼器開發投入較多的公司可以在編碼標準的選擇中有更大的空間和自主性；規模較小的公司則應當在標準選擇中更為審慎，盡量選取編解碼均較為成熟的標準。

最后，考慮到目前HEVC紛爭的專利權問題，在選擇視頻編碼標準時也需要對潛在的法務風險進行評估。在下一代視頻編碼標準中，目前HEVC的專利權問題首當其沖，使用HEVC意味著承擔相應的風險和授權費用。VP9和AV1在這一方面具有很強的優勢，其免費開放的特性有Google這樣的巨頭保證，這為市場解決了很多后顧之憂。

視頻編碼器的對比與選取

在選定視頻標準的基礎之上，下一個需要解決的問題是選取視頻編碼器。視頻編碼器的對比本身是一個相當復雜的問題，想要做出非常客觀、公正而全面的編碼器對比是非常具有挑戰的一件事。X264的作者之一Dark Shikari當年就曾經撰寫過一篇博客來闡釋公平公正的編碼器對比的難點和常見的誤區。

對于在線視頻公司來講，在編碼器對比中，需要考慮如下的幾個維度：

評價指標

在編碼器對比與評測中首先需要考慮的是使用何種評價標準。在視頻編碼中，評價指標主要包括碼率指標和質量指標兩類。其中碼率指標比較簡單明了，直接使用實際編碼碼率即可；而質量指標則要復雜的多。

傳統上視頻質量使用PSNR為代表的客觀指標來衡量，然而近年來的大量研究均已表明了這類指標與人眼主觀感受之間的匹配度不足，在一些特定場景下甚至出現與主觀質量沖突的情況。因此目前業內已經越來越少單獨使用客觀指標進行編碼器評測了。

與客觀指標相對應的是運用主觀評測來對比編碼器。主觀評測中會將視頻用不同的編碼器進行編碼并請求真人對視頻質量進行打分。主觀評測的準確性高，主要的問題是門檻高，成本高。如果希望使用主觀評測的方式進行編碼器對比，則應當做好軟硬件支持、技術支持和人力與時間資源。

近年來，學界和業界推出了一系列基于主觀質量的客觀視頻質量評價標準。運用這些標準能夠實現在不進行主觀質量評測的情況下達到與主觀評測類似性能的目的。目前這類算法的問題是業界缺乏公認的較好質量的指標，因此在公開的大規模測試中很少使用這類指標，主要還是依賴與大規模客觀指標+小規模主觀實驗的模式。

對于在線流媒體公司來說，需要根據自己的實際情況和需求選擇合適的指標作為質量評價標準。其中基于主觀質量的客觀評價指標的選取是一大重點，值得花費較多的精力與資源。

編碼速度要求

在視頻編碼中，編碼速度會對編碼效率產生本質的影響。同一標準的同一編碼器在不同的速度下性能能夠相差20%以上，不同編碼器在不同的速度下的性能差別則會更加明顯。實時編碼器和標準參考軟件之間對比性能毫無意義，因為他們的應用場景完全不同。

在編碼器選擇中，在線流媒體公司應當根據自己業務的特點來對編碼速度提出合理的要求。例如對于直播類業務，實時甚至超實時編碼器是必須的；對于點播類業務，編碼速度則可根據業務具體形態的不同有較大的差異。在編碼器對比中應當將各個備選編碼器都調整配置為在選定要求的編碼速度范圍內工作，并在此基礎上進行性能對比。

常用碼率范圍

在編碼速度基礎之上，還應當考慮常用碼率范圍。不同于標準制定階段，對于流媒體服務提供商而言，對于每一個分辨率常用的碼率范圍一般不會很大。對不同的市場和應用場景，同一碼率上最高和最低的傳輸碼率可相差一倍甚至兩倍以上，這種巨大的差異會使得各個編碼器的性能對比發生本質的區別。例如某些優化和快速算法做的較好的編碼器在低碼率端表現優異，而標準特性支持較全面的編碼器則可能在高碼率端表現出較好的性能。

在線流媒體公司應當深入分析應用場景，總結常用碼率范圍并在此范圍中進行各編碼器性能的對比和選擇。

視頻內容特點

視頻內容特性是影響視頻編碼效率的另一大因素。不同的編碼器在不同內容上的表現也會不同。例如有些編碼器針對噪聲較重的場景有特別的優化，則對于用戶上傳內容較多的公司來說具有額外的價值；而主打二次元內容的公司則應當考慮對動畫類內容優化較為充分的編碼器。選取一款通用的全局最優編碼器往往是困難并且無必要的，建議各家公司總結并使用具有自身特點的視頻內容對編碼器進行評測和選擇。

特性的支持

特性的支持也是編碼器選擇的重要考量因素。例如是否支持10bit編碼，是否支持CBR編碼的碼率控制模式，是否擁有豐富易用的各種參數，是否易于與各種平臺集成，是否支持二次開發等。僅僅擁有優秀的編碼效率可以使得一款編碼器被稱之為優秀，卻很難使其被稱之為成功。流媒體公司應當根據自己的業務需求和對未來的展望選取具備充分特性支持的編碼器來服務用戶。

靈活的架構：明智的方案

目前整個視頻編碼標準尚處在混戰的階段，最終誰勝誰負尚難以判斷，編碼器的選擇更是云山霧罩，各種評比層出不窮結果卻并不收斂，選定某一標準并且選定一款可供長期使用的編碼器難度頗高。另一方面用戶的迫切需求和帶寬的壓力使得業界眾公司都需要在近期就開展下一代視頻編碼標準的部署，因此持續觀望并不可靠。

在這種形勢下，設計并實現一套較為靈活的視頻編碼架構不失為一種明智的選擇。這類靈活的架構要求能夠一方面實現多種編碼標準和編碼器的共存與靈活替換，另一方面能實現全站視頻在一定時間內的重編碼與上線。這類靈活的編碼架構能夠使得公司具有較高的靈活度，并且根據業界的發展與標準的競爭狀態實時調整編碼標準和編碼器的選擇策略。在H.264大一統的時代中這類架構并無太大必要，但這恐怕是業界為暫時沒有一個統一標準而必須付出的代價。

結語

這是最好的時代，這是最壞的時代。今天視頻編碼這一歷史悠久而又擁有持久活力的技術方向又將迎來一個全新的戰國時代。技術的發展和用戶需求之間的碰撞必將迸發出激烈的火花并且帶來整個行業的變革。作為這一切的見證者和參與者，我們毫無疑問是幸運的。在接下來的幾年中，到底是HEVC穩住陣腳，還是AV1后來居上，抑或是其他的標準橫空出世，讓我們拭目以待。