作者：余成偉，陸建華，鄭君里

在H．264／AVC編碼器中，由于采用了固定長(zhǎng)度的圖像組（GOP）結(jié)構(gòu)，不能有效地處理視頻序列中的場(chǎng)景切換，導(dǎo)致場(chǎng)景切換幀后續(xù)各幀編碼質(zhì)量嚴(yán)重下降。為了有效解決該問題。提出一種自適應(yīng)的碼率控制算法，通過場(chǎng)景切換的快速檢測(cè)方法檢測(cè)視頻序列中的場(chǎng)景切換，在場(chǎng)景切換幀處終止當(dāng)前COP并對(duì)GOP層的碼率分配算法做出修正。仿真結(jié)果表明：采用該算法可以有效地降低場(chǎng)景切換對(duì)后續(xù)帖編碼質(zhì)量的影響，而且合理地分配碼率資源，提高了整個(gè)視頻序列的編碼質(zhì)量。在相同碼率條件下，整體編碼質(zhì)量可以提高0．3～O．5 dB。

碼率控制技術(shù)在帶寬受限的多媒體通信系統(tǒng)中具有重要的作用。傳統(tǒng)的視頻通信碼率控制算法，如H．264／AVC編碼器中采用的碼率控制算法，在將碼率資源分配到圖像組（GOP）中各幀圖像時(shí)，僅僅考慮了各幀圖像自身的復(fù)雜度，而忽視了同GOP中各幀圖像之間的相關(guān)性，如對(duì)含有頻繁場(chǎng)景切換的視頻序列進(jìn)行編碼時(shí)，GOP中某幀圖像可能因出現(xiàn)場(chǎng)景切換而與其參考幀之間毫無(wú)相關(guān)性，如果仍然采用傳統(tǒng)的碼率控制方法，將導(dǎo)致圖像編碼資源浪費(fèi)和編碼質(zhì)量的下降。

本文提出一種自適應(yīng)改變GOP長(zhǎng)度的碼率控制算法，可以有效地節(jié)省碼率資源，并且能夠有效地提高場(chǎng)景切換幀后續(xù)各幀的編碼質(zhì)量和序列整體的編碼質(zhì)量。

1 碼率控制技術(shù)與視頻場(chǎng)景切換

由于視頻序列中I、P及B幀編碼后產(chǎn)生的比特?cái)?shù)不一樣，為了使輸出碼流速率與信道速率相匹配，提高信道利用率，一般在編碼器和信道之間加一個(gè)緩沖區(qū)，而緩沖區(qū)容量大小與通信時(shí)延的要求構(gòu)成了一對(duì)新的矛盾，碼率控制的目的就是為了解決這一矛盾。對(duì)于編碼器來(lái)說(shuō)，一個(gè)魯棒的碼率控制算法應(yīng)該在充分利用帶寬資源和保證緩沖區(qū)不溢出的前提下，將有限的碼率資源進(jìn)行合理分配，獲得盡可能好的編碼質(zhì)量。

當(dāng)視頻序列中出現(xiàn)場(chǎng)景切換時(shí)，其編碼質(zhì)量將受到影響，影響程度取決于場(chǎng)景切換幀在其所處GOP中的位置。當(dāng)場(chǎng)景切換發(fā)生在I幀時(shí)，由于I幀采用幀內(nèi)編碼模式，場(chǎng)景切換對(duì)于I幀本身不會(huì)產(chǎn)生任何影響，同時(shí)也不會(huì)對(duì)后續(xù)幀的預(yù)測(cè)編碼產(chǎn)生影響；由于B幀為雙向預(yù)測(cè)，只要其前后2個(gè)參考幀有1幀與其處于同一場(chǎng)景中（假設(shè)序列中沒有連續(xù)2幀同時(shí)發(fā)生場(chǎng)景切換），其預(yù)測(cè)編碼的精度仍然能夠得到保證，編碼質(zhì)量不會(huì)受到很大影響。不同于I幀和B幀，當(dāng)場(chǎng)景切換發(fā)生在P幀，對(duì)當(dāng)前GOP編碼質(zhì)量的影響相當(dāng)大：首先，由于當(dāng)前P幀與其參考幀處于不同的場(chǎng)景中，幀間預(yù)測(cè)編碼將完全失效，宏塊必須通過RDO（rate-distortion optimiza-tion）模式選擇后才采取幀內(nèi)編碼，優(yōu)化過程極大浪費(fèi)了編碼時(shí)間；其次，由于絕大多數(shù)宏塊采用幀內(nèi)編碼模式，占用了大量的碼率資源，使得后續(xù)各幀由于碼率資源缺乏而編碼質(zhì)量下降，此影響還會(huì)延續(xù)至后續(xù)的GOP。

圖1給出了一個(gè)有5處場(chǎng)景切換的測(cè)試序列（詳見2．3節(jié)）在80 kb／s碼率條件下各幀編碼比特曲線和Y分量PSNR（峰值信噪比）曲線。同時(shí)，表1也給出了場(chǎng)景切換幀前10幀和后10幀Y分量平均PSNR值數(shù)據(jù)及其變化值。由圖中（虛線表示場(chǎng)景切換幀位置）可以看出，在場(chǎng)景切換時(shí)，當(dāng)前幀將占用較多編碼比特資源，從而導(dǎo)致后續(xù)幀由于碼率資源缺乏而PSNR值下降，詳細(xì)數(shù)據(jù)可見表1。

現(xiàn)實(shí)中的視頻序列，不可避免存在場(chǎng)景切換。如果編碼器不考慮場(chǎng)景切換的影響，就會(huì)浪費(fèi)有限的碼率資源，從而導(dǎo)致編碼質(zhì)量下降。目前，針對(duì)場(chǎng)景切換提出了很多碼率控制算法，其中常用的方法是通過改變GOP的結(jié)構(gòu)和長(zhǎng)度來(lái)重新分配碼率資源。如在文的算法中，當(dāng)檢測(cè)到場(chǎng)景切換時(shí)，當(dāng)前GOP剩余幀和下一個(gè)GOP的所有幀合并為一個(gè)GOP，因此，GOP長(zhǎng)度要比默認(rèn)長(zhǎng)度N大，最糟的情況下為2N-1。由于GOP過長(zhǎng)容易導(dǎo)致緩沖區(qū)的溢出，并且導(dǎo)致GOP中后面部分幀的編碼性能下降。在文提出的算法中，采取將過長(zhǎng)的GOP拆分成2個(gè)新的GOP來(lái)解決這個(gè)問題，但這樣做的后果是導(dǎo)致增加一個(gè)I幀，造成碼率資源的浪費(fèi)。本文算法與文相比，不額外增加I幀的數(shù)量，可以有效地節(jié)省碼率資源，同時(shí)有效地提高場(chǎng)景切換幀后續(xù)各幀的編碼質(zhì)量和序列整體的編碼質(zhì)量。

2 針對(duì)場(chǎng)景切換的自適應(yīng)碼率控制算法

2．1 自適應(yīng)碼率控制算法

在該算法中，當(dāng)前GOP的長(zhǎng)度將隨著場(chǎng)景切換幀的出現(xiàn)自適應(yīng)地改變，并且同時(shí)對(duì)碼率資源進(jìn)行重新分配。假設(shè)默認(rèn)的GOP長(zhǎng)度為N，分配給每個(gè)GOP的碼率資源為

其中：B表示帶寬；F表示幀速率；Rprev表示前一個(gè)GOP編碼剩余比特或超支比特。對(duì)于第1個(gè)GOP來(lái)說(shuō)，Rprev=0。每編碼一幀圖像，R更新如下：

其中Sipb為剛編碼幀（可能為I幀、P幀或B幀）所用的比特?cái)?shù)。當(dāng)GOP所有幀編碼完畢后，Rprev=R。

假設(shè)當(dāng)前GOP在編碼M（M＜N）幀后，第M+1幀檢測(cè)出場(chǎng)景切換，在H．264編碼算法中，此幀內(nèi)絕大多數(shù)宏塊經(jīng)過RDO優(yōu)化之后均采用幀內(nèi)預(yù)測(cè)模式編碼，當(dāng)前GOP也在編完所有N幀之后結(jié)束。采用本文的算法，當(dāng)檢測(cè)到第M+1幀有場(chǎng)景切換時(shí)，當(dāng)前GOP即提前終止，并提前進(jìn)入下一個(gè)GOP的編碼。由上述分析可知，發(fā)生場(chǎng)景切換時(shí)當(dāng)前GOP的實(shí)際長(zhǎng)度為M幀，因此，其預(yù)分配的碼率按

照式（1）計(jì)算并不合適，應(yīng)由下式?jīng)Q定：

由于GOP提前終止，其未編碼的N-M幀應(yīng)分配的編碼比特?cái)?shù)為

這部分比特應(yīng)該從當(dāng)前GOP按照式（1）計(jì)算的預(yù)分配碼率中減去，則當(dāng)前GOP提前終止時(shí)，Rprev應(yīng)該修正如下：

當(dāng)前GOP提前終止后對(duì)Rprev做出修正，根據(jù)式（1）則可計(jì)算出下一個(gè)GOP的預(yù)分配碼率，并開始下一個(gè)GOP的編碼。

本算法的前提是必須能檢測(cè)出場(chǎng)景切換，因此，快速有效地檢測(cè)檢測(cè)出場(chǎng)景切換是十分必要的。

2．2 視頻場(chǎng)景切換快速檢測(cè)算法

視頻場(chǎng)景切換包含如下幾種類型：突變場(chǎng)景切換、消融和淡入淡出等。目前，已有的場(chǎng)景切換檢測(cè)算法分為3類：基于灰度值檢測(cè)、基于運(yùn)動(dòng)搜索檢測(cè)和基于邊緣輪廓檢測(cè)。雖然后2種檢測(cè)算法具有比較好的性能，但是算法的高復(fù)雜度極大地限制了它們的應(yīng)用，尤其是在對(duì)于實(shí)時(shí)性要求比較高的視頻通信碼率控制算法中。

通過對(duì)視頻序列的統(tǒng)計(jì)分析發(fā)現(xiàn)，當(dāng)有場(chǎng)景切換時(shí)，當(dāng)前幀與其參考幀在灰度和色彩信息上有很大的區(qū)別，而沒有場(chǎng)景切換的時(shí)候，整個(gè)序列的灰度和色彩基本處于平穩(wěn)或者緩變的狀態(tài)。選擇mobile和grandma 2個(gè)YUV視頻序列（無(wú)場(chǎng)景切換），其各分量（Y為亮度分量，U、V為色度分量）的均值變化緩慢，如圖2所示。同時(shí)，對(duì)于有頻繁場(chǎng)景切換的視頻序列（以CNN新聞?wù)瑪嗪鸵粋€(gè)構(gòu)造序列為例），可知在場(chǎng)景切換處，3個(gè)分量的均值全部或部分出現(xiàn)突變，如圖3所示。

圖中mean（x）為枧頻序列X分量的均值，X代表視頻序列的Y、U、V 3個(gè)分量。

通過以上分析可知，當(dāng)圖像序列的各分量的均值發(fā)生突變時(shí)，一般來(lái)說(shuō)是有場(chǎng)景切換發(fā)生。據(jù)此，采用當(dāng)前幀和參考幀3個(gè)分量均值的絕對(duì)差值作為判斷當(dāng)前幀圖像是否有場(chǎng)景切換的差異函數(shù)為

其中：mean（）為均值函數(shù)；Scur和Sref分別表示當(dāng)前幀圖像和其參考幀圖像；X代表其3個(gè)分量。

根據(jù)差異函數(shù)，判斷是否有場(chǎng)景切換可以依據(jù)式（7）和（8）：

當(dāng)式（7）和式（8）同時(shí)滿足時(shí)，可以判定當(dāng)前幀有場(chǎng)景切換發(fā)生。式中：mean（Y）、mean（U）和mean（V）分別為當(dāng)前GOP內(nèi)當(dāng)前幀之前所有幀各分量均值的平均值；tTHl和tTH2為判決門限系數(shù)，分別描述當(dāng)前幀和參考幀之間亮度和色度均值的相對(duì)差異和絕對(duì)差異。

顯然，上述算法只需要計(jì)算各幀圖像3個(gè)分量的均值，算法復(fù)雜度非常低，很適合于碼率控

制等實(shí)時(shí)性要求高的應(yīng)用中。通過對(duì)超過2105幀的視頻序列進(jìn)行仿真，超過90％的場(chǎng)景切換能夠被檢測(cè)出來(lái)，并且誤檢率幾乎為0。

2．3 仿真結(jié)果

為了驗(yàn)證提出的碼率控制算法，本文采用圖3中兩個(gè)序列進(jìn)行驗(yàn)證。一個(gè)是CNN新聞?wù)幸欢涡蛄校≦CIF，277幀共9處場(chǎng)景切換），另一個(gè)為將23幀grandma、38幀foreman、27幀news、41幀sales、33幀silent和29幀table合成為一個(gè)測(cè)試序列（QCIF，191幀共有5處場(chǎng)景切換）。采用本文提出的快速場(chǎng)景切換檢測(cè)算法，2個(gè)序列共14處場(chǎng)景切換可以全部被檢測(cè)出，其中2個(gè)參數(shù)tTH1和tTH2分別設(shè)為0．1和10。采用JM8．6平臺(tái)，測(cè)試序列編碼采取IPPP結(jié)構(gòu)，默認(rèn)GOP長(zhǎng)度為10。

通過對(duì)本文提出的算法和JM8．6算法進(jìn)行仿真比較可知，采用本文的算法，可以有效降低場(chǎng)景切換對(duì)后續(xù)幀編碼質(zhì)量的影響，且更合理地分配碼率資源，使編碼后的視頻圖像質(zhì)量更平穩(wěn)，同時(shí)也可以從整體上提升了視頻序列的編碼質(zhì)量。表1列出了

采用本文算法與JM8．6算法時(shí)，測(cè)試序列各場(chǎng)景切換點(diǎn)前后10幀Y分量PSNR均值變化情況，從中可以看出采用本文算法可以有效提高場(chǎng)景切換點(diǎn)后續(xù)幀的編碼質(zhì)量；圖4給出了2種算法下測(cè)試序列3個(gè)分量PSNR值變化曲線，從圖中可以看出，采用本文的算法，重建視頻質(zhì)量更加平穩(wěn)，同時(shí)也提高了整個(gè)序列的平均編碼質(zhì)量，仿真結(jié)果表明當(dāng)給定碼率為80 kb/s，量化參數(shù)Qp初始值為32時(shí)，序列3個(gè)分量的PSNR值平均可以提高0．36 dB、0．42dB、0．37 dB。對(duì)CNN視頻序列進(jìn)行仿真，也可以得到與表1和圖4相似的結(jié)果，在碼率為80 kb／s，初始Qp值為32時(shí)序列編碼質(zhì)量可以提高0．3 dB。實(shí)驗(yàn)結(jié)果表明，本文的算法可以有效地將碼率控制在給定碼率，誤差在3％以內(nèi)。

在編碼時(shí)間上，本文的算法避免了由于場(chǎng)景切換導(dǎo)致的無(wú)效的運(yùn)動(dòng)搜索，節(jié)省了場(chǎng)景切換幀的編碼時(shí)間，而算法本身引入的額外運(yùn)算量可以忽略不計(jì)，因而節(jié)省了整個(gè)序列的編碼時(shí)間。仿真結(jié)果也表明，對(duì)于含有5個(gè)場(chǎng)景切換的P幀的測(cè)試序列（191

幀），編碼時(shí)間節(jié)省了2％～3％。很顯然，隨著序列中場(chǎng)景切換的P幀數(shù)量占序列總幀數(shù)的比例增大，節(jié)省的編碼時(shí)間的比例也會(huì)增大。

3 結(jié) 論

本文分析了場(chǎng)景切換對(duì)于視頻序列編碼帶來(lái)的影響，并提出了一種基于快速場(chǎng)景切換檢測(cè)的自適應(yīng)碼率控制算法，有效地降低了場(chǎng)景切換對(duì)后續(xù)幀編碼質(zhì)量的影響。結(jié)合H．264／AVC編碼器的實(shí)驗(yàn)研究表明，采用本文的算法，可以更合理地分配碼率資源，使編碼后的視頻圖像質(zhì)量更平穩(wěn)，也可以從整體上提升視頻序列的編碼質(zhì)量。同時(shí)，本文的算法也降低了場(chǎng)景切換幀的編碼時(shí)間，且自身算法復(fù)雜度低，可以有效節(jié)省頻繁場(chǎng)景切換的視頻序列的編碼時(shí)間。該算法可有效地應(yīng)用于如新聞?wù)碗娨暥虖V告等有頻繁場(chǎng)景切換的視頻序列編碼，有效地提高其編碼質(zhì)量和降低編碼時(shí)間。

責(zé)任編輯：gt