為什么我們?cè)陔娨暀C(jī)/投影儀等設(shè)備上，觀看體育比賽/動(dòng)作大片時(shí)會(huì)感受到畫面的卡頓？

想要弄明白？需要我們先來(lái)了解幾個(gè)技術(shù)名詞：幀率、MEMC技術(shù)、刷新率···

幀率影響著視頻的播放效果？

用電視看電影、追劇、看比賽，時(shí)常覺(jué)得電視在呈現(xiàn)這些內(nèi)容時(shí)表現(xiàn)得并不夠好，這其中與片源有很大關(guān)系，即畫面的流暢感和片源視頻的幀率（Frame Rate）有很大的關(guān)系，幀率的單位為 fps（frame per second），即每秒播放多少幀畫面。電影普遍采用24幀來(lái)呈現(xiàn)其所具有的獨(dú)特藝術(shù)質(zhì)感，而主流消費(fèi)級(jí)顯示設(shè)備（顯示器、電視機(jī)、投影儀）的刷新頻率一般為60/120Hz（即每秒刷新60/120張畫面），現(xiàn)在不少高端產(chǎn)品開(kāi)始向144Hz/165Hz甚至是240Hz提升（主要表現(xiàn)在電競(jìng)領(lǐng)域），打起游戲來(lái)更“爽”。

“刷新率”就是顯示技術(shù)術(shù)語(yǔ)，其本質(zhì)上是指顯示器上的像素每秒刷新多少次。刷新率和幀率很容易被混淆，其實(shí)一個(gè)用于終端，一個(gè)用于片源，不能互換使用，兩個(gè)相互協(xié)作才能帶來(lái)更好的觀看體驗(yàn)。一旦二者沒(méi)有匹配，比如刷新率高于幀率或者幀率高于刷新率，體驗(yàn)當(dāng)然不會(huì)好到哪里去；當(dāng)二者同等時(shí)，比如在120Hz面板，觀者正在觀看以120fps的幀率拍攝的內(nèi)容，觀者就將能夠感受到更佳更流暢的平滑度。在60Hz顯示器上觀看以120fps拍攝的視頻，由于顯示器在一秒鐘內(nèi)只能刷新60次，少于120次，那么就會(huì)丟掉一半的畫面來(lái)顯示，最終呈現(xiàn)的效果也只有60Hz，畫面會(huì)有輕微的抖動(dòng)。

?

總之，內(nèi)容的幀率是內(nèi)容源本身的頻率，而設(shè)備的刷新率則是設(shè)備播放內(nèi)容時(shí)顯示的頻率。當(dāng)畫面刷新的頻率不夠高時(shí)，在展現(xiàn)一些高速運(yùn)動(dòng)場(chǎng)景時(shí)會(huì)讓觀看者感覺(jué)到明顯的卡頓和遲滯。除電影外，各大在線視頻平臺(tái)的片源幀率格式也參差各異，使得最終呈現(xiàn)到用戶眼前的畫面會(huì)有明顯的拖影、抖動(dòng)，這樣的情況在觀看物體運(yùn)動(dòng)頻繁的體育賽事/動(dòng)作大片時(shí)會(huì)更明顯。

至關(guān)重要的MEMC技術(shù)

目前，硬件性能已經(jīng)達(dá)到解碼60Hz或120Hz的能力，傳輸技術(shù)的信號(hào)幀率也達(dá)到60或120Hz，唯獨(dú)視頻內(nèi)容方面，電影的幀率是24Hz，電視幀率一般是25Hz-60Hz。一般情況下畫面會(huì)通過(guò)pull up pull down的方式，增加重復(fù)幀 （即第一幀重復(fù)3次，第二幀重復(fù)2次，第三幀再重復(fù)3次，第四幀再重復(fù)2次……）這樣就把24“fps”的視頻各幀“相對(duì)均勻”地分配到了60Hz的播放設(shè)備上，這種方法并沒(méi)有給視頻添加新的畫面內(nèi)容，運(yùn)動(dòng)畫面的質(zhì)量也沒(méi)有得到真正的改變，雖然是是60Hz的設(shè)備，最終呈現(xiàn)的效果也是24Hz的效果。在遇到高速運(yùn)動(dòng)場(chǎng)景時(shí)就會(huì)出現(xiàn)“拖影”或者“模糊”的情況，也就是觀影過(guò)程中的“拖影現(xiàn)象”。想要這些補(bǔ)充幀準(zhǔn)確無(wú)誤的展現(xiàn)出運(yùn)動(dòng)畫面應(yīng)有的效果，就需要強(qiáng)大的運(yùn)算能力和算法支持，這也就是我們?yōu)槭裁葱枰狹EMC運(yùn)動(dòng)補(bǔ)償技術(shù)的原因。

?

如何解決以上問(wèn)題呢？這需要運(yùn)用MEMC的技術(shù)，就是通過(guò)對(duì)圖像里物體的運(yùn)動(dòng)軌跡（運(yùn)動(dòng)矢量）進(jìn)行檢測(cè)，在原始幀中間插入運(yùn)算后的補(bǔ)償幀來(lái)提升畫面的流暢性。MEMC，英文全稱為Motion Estimation and Motion Compensation，中文譯為運(yùn)動(dòng)預(yù)估與運(yùn)動(dòng)補(bǔ)償。簡(jiǎn)單來(lái)說(shuō)就是通過(guò)芯片和算法基于物體運(yùn)動(dòng)的軌跡進(jìn)行預(yù)測(cè)，最終補(bǔ)償出視頻源中本身沒(méi)有的畫面，達(dá)到畫面更為流暢的目的，也就是說(shuō)，有了這項(xiàng)技術(shù)，設(shè)備側(cè)可以突破內(nèi)容本身的限制，把最終呈現(xiàn)效果提升到和設(shè)備最終顯示頻率一致的高幀率。MEMC運(yùn)動(dòng)補(bǔ)償技術(shù)是一個(gè)電視畫質(zhì)的重要指標(biāo)。

?

那么海思的MEMC是如何實(shí)現(xiàn)神操作的呢？

?

MEMC是如何解決“拖影”的？

MEMC試圖解決的問(wèn)題便是如何利用算法來(lái)智能化得協(xié)同刷新率和幀率，使銜接更自然、動(dòng)勢(shì)更順滑，從而消除運(yùn)動(dòng)抖動(dòng)、運(yùn)動(dòng)拖尾，讓運(yùn)動(dòng)畫面更加清晰流暢。

?

MEMC通過(guò)智能算法，根據(jù)前后的運(yùn)動(dòng)趨勢(shì)計(jì)算其動(dòng)態(tài)變化，預(yù)測(cè)下一幀的幀速率，在傳統(tǒng)的兩幀圖像之間加插一幀運(yùn)動(dòng)補(bǔ)償幀，將原本24幀的視頻處理成60幀甚至120幀，以彌補(bǔ)幀不足。如果幀速率只有24Hz，MEMC會(huì)在每奇數(shù)幀之后添加一個(gè)額外的幀，并在每偶數(shù)幀之后添加兩個(gè)額外的幀以顯示60Hz，來(lái)匹配在60Hz的終端屏幕上觀看。如果幀速率較高，例如120Hz，MEMC所做的是智能化相應(yīng)地修改添加的幀數(shù)，解決電影中的斷斷續(xù)續(xù)的問(wèn)題。MEMC運(yùn)動(dòng)補(bǔ)償功能都是需要靠芯片來(lái)實(shí)現(xiàn)的，對(duì)芯片的性能要求較高。同樣是MEMC，因?yàn)樗惴ê托酒芰Φ牟煌@示出來(lái)的效果也存在著不小的差別。

?

海思算法去除果凍效應(yīng)、改善小物體運(yùn)動(dòng)

由于所有新增的幀都是運(yùn)動(dòng)預(yù)測(cè)計(jì)算出來(lái)的，但是畫面中，一般會(huì)有運(yùn)動(dòng)部分和靜止部分，MEMC必須要精確識(shí)別出運(yùn)動(dòng)部分，然后進(jìn)行預(yù)測(cè)補(bǔ)償，一旦識(shí)別出錯(cuò)或者補(bǔ)償出錯(cuò)，都會(huì)帶來(lái)副作用，識(shí)別算法有缺陷，會(huì)引起果凍效應(yīng)、光環(huán)“halo”和小物體的丟失。補(bǔ)償算法的優(yōu)劣，影響畫面整體的和諧之美，出現(xiàn)畫面破碎等問(wèn)題。

?

大家會(huì)發(fā)現(xiàn)以上動(dòng)態(tài)演示圖中，第二幀插入的幀足球消失了，為什么呢？大部分的MEMC算法模塊中，采用塊匹配的方法計(jì)算相鄰的幀之間物體的運(yùn)動(dòng)相關(guān)性，也就是把圖像切成16x16或32x32像素矩陣的塊，再根據(jù)物體的運(yùn)動(dòng)矢量（mv）進(jìn)行插值，由于算法是基于圖像的塊進(jìn)行計(jì)算而非像素級(jí)（每個(gè)像素進(jìn)行計(jì)算，計(jì)算量成幾何級(jí)數(shù)上升，從芯片成本和可實(shí)現(xiàn)性上來(lái)看無(wú)法實(shí)現(xiàn)）導(dǎo)致對(duì)于小物體的運(yùn)動(dòng)矢量估計(jì)不準(zhǔn)確，會(huì)導(dǎo)致小物體的丟失或出現(xiàn)重疊的現(xiàn)象。為了改善小物體的運(yùn)動(dòng)，海思芯片算法基于當(dāng)前幀的頻率特征計(jì)算圖像塊的運(yùn)動(dòng)矢量，這樣就能改善小物體的運(yùn)動(dòng)矢量計(jì)算，大家看第三幀，消失的足球又回來(lái)了。

高刷新率這一神操作，是顯示技術(shù)的一大亮點(diǎn)。智能科技行業(yè)領(lǐng)域的頭部都已經(jīng)對(duì)其展開(kāi)了發(fā)展研究，嘗試讓畫面流暢如絲，為用戶在使用時(shí)帶來(lái)更好的視覺(jué)享受。

海思MEMC運(yùn)動(dòng)防抖技術(shù)，能夠通過(guò)預(yù)測(cè)及補(bǔ)幀將每秒24幀的畫面調(diào)整到最合適的幀數(shù)，并減少預(yù)測(cè)失誤，去除果凍效應(yīng)及改善小物體運(yùn)動(dòng)；此外海思早已把8K MEMC整合到8K SoC內(nèi)，在8K SoC里增加了MEMC，實(shí)現(xiàn)了和8K畫質(zhì)模塊更好配合，為消費(fèi)者完美呈現(xiàn)8K身臨其境的畫質(zhì)體驗(yàn)，讓您無(wú)論是玩游戲、看電影都能體驗(yàn)全程絲滑無(wú)卡頓，流暢畫質(zhì)快人一步，質(zhì)感升級(jí)，品質(zhì)加滿！