隨著數字多媒體的應用日漸廣泛，視頻解碼 在嵌入式系統設計中變成一個基本要素。視頻標準有多種，依賴于產品可實施其中的一個或者多個標準。當然這不是全部，視頻僅僅是多媒體碼流的一部分，另外還 有音頻或者語音需要并行處理。因此，一個精確的處理存儲或數據流的同步層是必需的。此外，視頻解碼本身對性能要求較高，需要不同于先前基于語音和信息應用 的系統架構；這就對便攜系統提出了特殊挑戰，而桌面應用同樣面臨這些問題。
　　通用視頻標準和編解碼器
　　聯合視頻組（Joint Video Team， JVT）由 ITU的視頻編碼專家組（Video Coding Experts Group， VCEG）和ISO/IEC運動圖像專家組（Moving Picture Experts Group， MPEG）組成。VCEG開發自愿性標準，用于會話和非會話類音/視頻應用的先進移動圖像編碼。 MPEG開發國際標準，用于移動圖像、音頻及兩者組合的壓 縮、編碼、解壓縮、處理等，以滿足各種應用。總之，JVT已經開發了包括ITU H.262/MPEG2和H.264/MPEG-4 AVC在內的最流行的視頻標準。
　　MPEG-2 Video/H.262：MPEG2（ISO/IEC 13818-2），也被稱為ITU-T H.262，是目前消費類電子視頻設備中使用最廣泛的視頻編碼標準。MPE2視頻用于數字電視廣播：包括地面、電纜和直接衛星廣播。它能在25fps （Pal）或者30fps（NTSC）的固定幀率下達到720x576象素成像。此外，它也是DVD視頻中必需的編解碼器。
　　MPEG-4-SP/ASP： ISO/IEC 14496-2描述了 MPEG4簡單類（Simple Profile， SP）/高級簡單類（Advanced Simple Profile， ASP）。其中，SP用于下一代便攜式終端和窄帶互聯網。而ASP增加若干工具，編碼效率提高了1.5到2倍。他們兩個均在市場上獲得越來越多的接受
　　MPEG-4-AVC/ITU-T H.264：先進視頻編碼（AVC）是由ISO/MPEG和ITU-T聯合技術委員會開發的多媒體標準。AVC提供更高的壓縮率，更好的視頻質量和比MPEG2更高的容錯性，有望用于互聯網廣播和移動通訊。
　　Windows Media Video（WVM）/SMPTE VC-1：WMV9是微軟的多媒體標準，其特性包括支持流處理，可變比特率，以及與MPEG-4-AVC/H.264相媲美的容錯工具。除了用于家庭電 腦，WMV9目前也在電影院用于數字投影。電影中使用的編碼可以是7~12Mbps的恒定比特率CBR或可變比特率VBR，并達到DVE解析度 （720x480）。
　　應用方案
　　特定的目標應用決定了系統要求，因而帶動了系統設計的選擇。
　　個人媒體播放器（PMP）：個人媒體播放器是帶大容量存儲器的便攜式設備，通過對存儲的文件進行解碼，可以觀看視頻、聽音樂或者瀏覽數碼照片。由于是便攜式播 放器，因此功耗至關重要。既然編碼和流處理功能都不需要，并且屏幕尺寸通常是比較小的QVGA或者CIF格式，其可通過基于DSP的 方案很好的解決。采用DSP的優勢還在于可輕松支持多種視頻和音頻標準。例如：LSI針對高性能嵌入式系統的可授權DSP核ZSP500，可為此類應用提 供充足的視頻處理能力。此外，ZSP500還可以提供杰出的音頻解碼能力，使DSP可在較低的頻率下運行；從而使音頻/視頻子系統功耗很低。而存儲器、鍵 盤、顯示和文件系統可通過微控制器執行。
　　
　　圖：標準視頻編解碼器的時間表。
　　當然，某些PMP具備把播放器連接到普通電視機的視頻輸出功能。雖然PMP集成的顯示屏幕相對較小，但現在的視頻解碼尺寸通常達到D1格式。依據播放器的功 能列表要求，設備需要集成1個或者多個視頻解碼標準；對于在電視幀率（25-30幀/秒）下D1格式視頻解碼，硬件視頻解碼器是最佳選擇。多個視頻解碼標 準可能需要多個硬件模塊。實行多個解碼標準會提高系統成本，但不會提高功耗，因為同一時間只有一個模塊會被激活。多標準音頻解碼可在小而高效的嵌入式 DSP核中實現，而無需增加額外的硬件成本（存儲解碼器的空間除外）。而微控制器將用于控制DSP和視頻硬件解碼器。
　　當僅用于播放音頻時— 如典型的MP3播放器，也可使用單DSP解決方案。此系統中DSP進行音頻解碼、文件/流數據處理，還同時控制鍵盤、顯示屏和存儲器等。由于DSP處理音 頻解碼更為高效，因此使用如ZSP400 DSP而非微控制器可以顯著降低功耗。此外，基于DSP的解決方案可進行軟件升級，以支持運算更為密集的音頻標準（比如aac Plus），此時微控制器可能無法處理額外增加的負荷。
　　視頻移動電話：該類應用的視頻尺寸是QCIF或者CIF，幀率從10到30幀每秒。 是否需要支持多種視頻/音頻解碼標準取決于電話的功能要求。視頻將是流視頻或者短的視頻序列回放。通過軟件解碼而無需額外硬件，既可滿足這些設備的性能要 求。而且大多數的電話集成了微控制器和DSP，因此視頻解碼可通過DSP實現，這也使得低功耗精巧系統成為可能。另外一些電話可能包含PMP或者數碼攝像 機的一些功能，單純的DSP設計方案無法滿足要求，這就需要額外的硬件加速。
　　視頻桌面電話：該設備提供視頻會議功能，需要在強實時限制下完 成編解碼。如果幀尺寸和幀率有限，單DSP解決方案仍然可行。然而，大部分桌面電話具備QVGA或者更大的顯示屏；此外，用戶通常期望有比無線移動設備更 佳的語音/視頻質量。這意味幀率應當更高，掉幀率/卡幀率應當盡可能低，此時可能需要采用硬件解決方案完成視頻編解碼。語音編解碼可通過低成本的DSP （如ZSPneo）或者系統中的微控制器實現。
　　移動數碼攝像機（DVR）：對于該類設備，多標準編解碼沒有必要，大多數僅使用單一視頻編解碼標準。由于大尺寸，高幀率和低功耗的苛刻要求，純硬件解決方案通常是首選。而不需要DSP，此時系統微控制器用于驅動視頻和音頻硬件模塊。
　　機頂盒：機頂盒需要完成高質量視頻流的處理和已錄制的視頻文件的解碼。同DVR一樣，視頻質量的要求（幀尺寸，幀率，比特率和容錯能力）使其幾乎只能通過硬 件解碼來進行。當然，因為不像移動設備對功耗要求那樣苛刻，也可采用多DSP核配合一些基本的硬件加速的方案來設計可處理各種視頻編解碼器的系統。根據功 能要求，機頂盒可能需要一定的靈活性：尤其是將其用于媒體播放器、數字VCR或網絡流媒體領域。這時可用DSP中的軟件處理音頻。為了實現這種靈活性，要 選擇不同的編解碼器完成回放、編碼、譯碼等功能，此時用于音頻處理的DSP將會是如ZSP500這樣的高性能處理器，以實現迎合家庭影院最新潮流的環繞 聲、聲音處理等功能要求。
　　基本設計配置
　　針對本文宗旨，我們可以考慮以下4種基本設計配置：第一種設計包含1個 微控制器和1個DSP（MC+DSP）；第二種設計包括1個微控制器和1個DSP，但是DSP同時也控制1個視頻編碼/解碼硬件模塊（MC+［DSP+ VHW］）；第三種設計使用1個微控制器，DSP和視頻編碼/解碼硬件模塊（MC+DSP+VHW），在該設計中微控制器控制DSP和視頻硬件模塊；最后 一種設計包含1個微控制器，1個視頻編碼/解碼硬件模塊，1個音頻編碼/解碼硬件模塊（MC+VHW+AHW）。在上述各類設計中，微控制器負責典型的嵌 入式控制任務：包括用戶控制連接（如操縱桿控制），USB/UART/以太網驅動，協議層（如TCP/IP， HTTP）等。