需要高級(jí)視頻圖形功能的系統(tǒng)一直是實(shí)施的挑戰(zhàn)。傳統(tǒng)上，這些系統(tǒng)需要硬件功能和軟件功能的復(fù)雜組合，以創(chuàng)建應(yīng)用程序所需的必要的更高級(jí)別的視頻和圖形。最新的基于ARM的MCU現(xiàn)在提供了一套全面的高級(jí)硬件功能，通常將常見(jiàn)的視頻和圖形標(biāo)準(zhǔn)作為獨(dú)立模塊實(shí)現(xiàn)，從而最大限度地減少了對(duì)這些硬件功能進(jìn)行“硬編碼”的需求。此外，廣泛的基于ARM的生態(tài)系統(tǒng)提供了大量軟件支持，用于實(shí)現(xiàn)常見(jiàn)的應(yīng)用程序級(jí)功能（例如，輕松構(gòu)建圖形用戶界面或GUI的應(yīng)用程序），只需極少量的低級(jí)編碼。廣泛的參考設(shè)計(jì)和硬件平臺(tái)允許設(shè)計(jì)人員利用制造商開(kāi)發(fā)的例程來(lái)簡(jiǎn)化他們自己的自定義應(yīng)用程序的創(chuàng)建。讓我們看一下基于ARM的MCU系列中現(xiàn)有的一些新的視頻硬件和軟件功能。

三個(gè)關(guān)鍵要素：輸入，處理和顯示

將三個(gè)關(guān)鍵視頻圖形元素分成輸入是很方便的，處理和顯示。輸入功能通常允許設(shè)備通過(guò)各種標(biāo)準(zhǔn)連接到各種傳感器和攝像機(jī)。處理功能支持將一個(gè)標(biāo)準(zhǔn)轉(zhuǎn)換為另一個(gè)標(biāo)準(zhǔn)，創(chuàng)建用于顯示的多層圖形對(duì)象（例如，作為GUI中的元素），以及用于創(chuàng)建具有深度和著色屬性的對(duì)象的更復(fù)雜的函數(shù)。最后，顯示功能將存儲(chǔ)在內(nèi)部存儲(chǔ)器中的圖形元素轉(zhuǎn)換為可以傳輸?shù)狡桨屣@示器或電視的數(shù)據(jù)。現(xiàn)在讓我們使用基于ARM的示例MCU更詳細(xì)地查看每個(gè)元素。

視頻圖形輸入

大多數(shù)基于ARM的MCU都包含一個(gè)通用圖像傳感器的視頻輸入接口。這些接口通常使用標(biāo)準(zhǔn)格式（例如RGB或YCbCr）將視頻輸入存儲(chǔ)到內(nèi)部存儲(chǔ)器中，該標(biāo)準(zhǔn)格式可以被處理然后顯示在標(biāo)準(zhǔn)LCD面板上。 Atmel SAMA5D3系列基于ARM的MCU是一個(gè)很好的例子，它說(shuō)明了一些所需的視頻輸入功能。主視頻輸入模塊是圖像傳感器接口（ISI），使用兩種常用方法連接到圖像傳感器：與垂直和水平同步信號(hào)的硬件同步，或國(guó)際電信聯(lián)盟建議書(shū)（ITU-R）標(biāo)準(zhǔn)（如BT）。 601/656）。 BT.601/656的使用減少了引腳數(shù)，因?yàn)椴恍枰怪焙退叫盘?hào)，但靈活性不如通用的垂直和水平硬件同步模式。圖像傳感器數(shù)據(jù)由最多12位并行數(shù)據(jù)組成，支持高達(dá)2048 x 2048的分辨率。完整的輸入數(shù)據(jù)路徑如下圖1所示。

圖1：Atmel SAMA5D3 MCU的視頻輸入路徑（由Atmel提供）。

時(shí)序信號(hào)和圖像傳感器輸入數(shù)據(jù)顯示在圖的左側(cè)。在圖的中間底部顯示了兩個(gè)輸入路徑;一個(gè)用于預(yù)覽路徑，一個(gè)用于編解碼器路徑。可以格式化預(yù)覽路徑，以便直接在輸出LCD面板上轉(zhuǎn)換然后顯示輸入視頻（可能是RGB格式）。 2D圖像縮放器和像素格式器可用于實(shí)現(xiàn)簡(jiǎn)單的視頻縮放和剪切。可以通過(guò)中斷和DMA訪問(wèn)來(lái)支持完整路徑，而根本不涉及CPU。如果需要視頻處理，輸入數(shù)據(jù)可以轉(zhuǎn)換（例如，從RGB轉(zhuǎn)換為YCbCr），并使用圖1底部顯示的編解碼器路徑以打包格式存儲(chǔ)在存儲(chǔ)器中.FIFO緩沖區(qū)和帶散射聚集的AHB主機(jī)功能補(bǔ)充了數(shù)據(jù)輸入功能。

使用中斷和DMA傳輸管理數(shù)據(jù)路徑的能力對(duì)于提高視頻應(yīng)用的效率至關(guān)重要。這使得ARM CPU可以專注于實(shí)現(xiàn)管理功能并為功能區(qū)分提供定制處理。 Atmel SAMA5D3是具有重要自主操作的設(shè)備的一個(gè)很好的例子，當(dāng)處理效率至關(guān)重要時(shí)，您應(yīng)該注意這一點(diǎn)。

在許多情況下，視頻數(shù)據(jù)已經(jīng)過(guò)壓縮處理，需要以不同的格式捕獲。例如，安全攝像機(jī)通常以壓縮的JPEG格式提供視頻數(shù)據(jù)，以減少傳輸視頻數(shù)據(jù)所需的帶寬。這可以降低接收端的功耗要求，并簡(jiǎn)化數(shù)據(jù)帶寬要求。加密通常用于保護(hù)視頻數(shù)據(jù)免受網(wǎng)絡(luò)入侵。讓我們考慮使用STMicroelectronics STM32F207 MCU作為目標(biāo)平臺(tái)的示例安全攝像頭設(shè)計(jì)。

STM32F207數(shù)碼相機(jī)輸入是一個(gè)同步并行接口，能夠從外部CMOS攝像頭模塊捕獲高速圖像數(shù)據(jù)。它支持常見(jiàn)的格式，如YCbCr4：2：2，RGB656，8/10/12/14位逐行掃描視頻和JPEG。 JPEG在低功耗應(yīng)用中很有用，因?yàn)樗菈嚎s的，因此傳輸圖像所需的帶寬較少。 STM32F207在視頻流的水平同步部分內(nèi)接收J(rèn)PEG視頻，如圖2所示。請(qǐng)注意，HSYNC信號(hào)的寬度根據(jù)每個(gè)JPEG數(shù)據(jù)包所需的數(shù)據(jù)量而變化。開(kāi)始和結(jié)束時(shí)的指示由VSYNC信號(hào)限制，以便于識(shí)別。

圖2：STM32F207上帶攝像頭輸入的JPEG捕獲（由STMicroelectronics提供）。

JPEG視頻捕獲數(shù)據(jù)后，使用DMA控制器將數(shù)據(jù)存儲(chǔ)在內(nèi)存中以減少CPU開(kāi)銷(xiāo)。在傳輸之前，視頻數(shù)據(jù)被加密，使得視頻難以被網(wǎng)絡(luò)入侵者捕獲或篡改（你經(jīng)常看到安全視頻數(shù)據(jù)在黑暗電影中被“黑客攻擊”）。 STM32F207具有片上加密處理器，支持流行的加密標(biāo)準(zhǔn)，如Triple-DES和AES-256。加密處理器作為32位AHB外設(shè)訪問(wèn)，并支持DMA傳輸。隨機(jī)數(shù)生成器和安全散列處理器也可用于添加身份驗(yàn)證功能，以便安全攝像頭的命令和從攝像頭傳輸?shù)臄?shù)據(jù)可以證明來(lái)自預(yù)期的來(lái)源。

一旦數(shù)據(jù)完全處理并準(zhǔn)備好發(fā)送時(shí)，STM32F207有一個(gè)以太網(wǎng)控制器，支持使用符合IEEE 802.3標(biāo)準(zhǔn)的MII接口進(jìn)行10/100數(shù)據(jù)傳輸，以連接到外部PHY。控制器還支持LAN喚醒幀，以便在等待以太網(wǎng)端口上的活動(dòng)時(shí)可以使用低功耗模式。雙2 KB FIFO（一個(gè)用于發(fā)送，一個(gè)用于接收）提供足夠的緩沖存儲(chǔ)，以保持高效率，從而降低功耗。 DMA用于傳輸以太網(wǎng)流量以及進(jìn)一步降低CPU開(kāi)銷(xiāo)。普遍使用DMA將數(shù)據(jù)從輸入，處理轉(zhuǎn)移到傳輸，是低功耗視頻實(shí)現(xiàn)中的常用技術(shù)，并且應(yīng)該是任何設(shè)計(jì)中關(guān)鍵因素，其中功率效率是關(guān)鍵考慮因素。

視頻圖形處理

視頻圖形處理是高級(jí)ARM MCU和MPU近年來(lái)增加的復(fù)雜功能之一。 MPU特別增加了用于視頻處理的硬件加速，旨在創(chuàng)建可包括實(shí)時(shí)視頻的創(chuàng)新用戶界面。將視頻數(shù)據(jù)從一種格式轉(zhuǎn)換為另一種格式，裁剪，縮放和顏色校正目標(biāo)顯示器的屬性或改變照明條件的能力可以顯著增強(qiáng)用戶體驗(yàn)。飛思卡爾i.MX53xx具有片上2D圖形處理單元（GPU）和獨(dú)立的3D GPU。 2D GPU實(shí)現(xiàn)了針對(duì)OpenVG 1.0.1圖形API和功能集的各種圖形和視頻處理功能。 3D GPU的目標(biāo)是DirectX9著色和紋理，用于構(gòu)建高級(jí)圖形圖像。

2D GPU在構(gòu)建視覺(jué)上引人注目的UI方面特別有用，并且可以使用由3D GPU創(chuàng)建的圖形元素。 2D GPU支持位圖圖形操作，例如BitBlt，填充和光柵化器操作，幀緩沖區(qū)最高可達(dá)2048 x 2048，采用全范圍的源和目標(biāo)位圖格式（例如，從ARGB4444到ARGB8888）。提供了三個(gè)用于掩模，圖案和alpha層的獨(dú)立源位圖，以簡(jiǎn)化復(fù)雜圖形構(gòu)造的實(shí)現(xiàn)。矢量圖形引擎結(jié)合2D單元提供多邊形和幾何操作。 2D GPU的框圖如下圖3所示。

圖3：飛思卡爾i.MX53xx MPU嵌入式2D GPU框圖（由飛思卡爾提供）。

2D GPU接受命令流，如圖3頂部所示。命令被分離并發(fā)送到2D單元或矢量圖形單元。 2D單元通過(guò)存儲(chǔ)器仲裁器對(duì)圖形存儲(chǔ)器上的像素，梯度，紋理和顏色進(jìn)行操作。矢量單元還使用存儲(chǔ)器仲裁器來(lái)訪問(wèn)圖形存儲(chǔ)器，從而生成并操作幾何形狀。仲裁器通過(guò)優(yōu)先考慮和組合存儲(chǔ)器操作來(lái)最大化帶寬效率。

i.MX53視頻圖形系統(tǒng)的架構(gòu)，具有單獨(dú)的2D，矢量和3D單元并不罕見(jiàn)。擁有支持不同標(biāo)準(zhǔn)的獨(dú)立塊可以更輕松地創(chuàng)建特定于功能的驅(qū)動(dòng)程序，中間件和更復(fù)雜的高級(jí)應(yīng)用程序接口（API），從而使設(shè)計(jì)人員能夠?qū)Ｗ⒂谒麄兊年P(guān)鍵差異化因素，而不是花時(shí)間實(shí)施低級(jí)別的“家政“功能。很多時(shí)候，這些模塊還支持低功耗模式，其中未使用的元件可以斷電以顯著降低功耗。當(dāng)視頻圖形處理是您設(shè)計(jì)中的重要要求時(shí)，請(qǐng)尋找這些類型的功能。

視頻圖形輸出

在某些應(yīng)用中，不需要直接視頻輸入功能;但是，擁有視頻輸出功能至關(guān)重要。例如，手持式測(cè)試設(shè)備可能需要圖形用戶界面和生成視頻輸出的能力，以圖形方式顯示實(shí)時(shí)測(cè)試結(jié)果。這些類型的功能的常見(jiàn)示例可以在超聲醫(yī)療設(shè)備，材料檢查或電信頻率測(cè)試中找到。恩智浦LPC4350雙ARM內(nèi)核MCU是非常適合這些應(yīng)用的器件類型的一個(gè)很好的例子。恩智浦LPC4530的LCD面板輸出控制器如下圖4所示。

圖4：恩智浦LPC4350雙ARM內(nèi)核MCU上的LCD輸出（由恩智浦提供）。

系統(tǒng)界面幀緩沖器是通過(guò)圖4中左側(cè)所示的AHB主機(jī)實(shí)現(xiàn)的。控制器將像素編碼數(shù)據(jù)轉(zhuǎn)換為各種可能的顯示設(shè)備所需的格式，包括單或雙超扭曲向列（STN） ）面板或薄膜晶體管（TFT）彩色面板。支持320 x 240到1024 x 768的分辨率，TFT顯示屏上每像素高達(dá)24位真彩色非托盤(pán)色。 245個(gè)條目乘以16位的RAM調(diào)色板可用于托盤(pán)化實(shí)現(xiàn)。請(qǐng)注意，當(dāng)存在雙面板時(shí)可以使用單獨(dú)的DMA FIFO，或者當(dāng)只有一個(gè)面板時(shí)可以組合使用單獨(dú)的DMA FIFO。這有助于提高傳輸效率并降低CPU開(kāi)銷(xiāo)。包含硬件光標(biāo)以簡(jiǎn)化圖形用戶界面（GUI）實(shí)現(xiàn)。

NXP LPC4350上提供的雙ARM內(nèi)核對(duì)于具有大型或復(fù)雜GUI功能的應(yīng)用程序特別有用。其中一個(gè)ARM內(nèi)核可專用于管理用戶界面和測(cè)試數(shù)據(jù)的實(shí)時(shí)顯示。這有助于將時(shí)間關(guān)鍵功能與不太關(guān)鍵的管理或處理功能分開(kāi)。例如，數(shù)據(jù)處理的短暫延遲比數(shù)據(jù)顯示期間的延遲（創(chuàng)建“參差不齊”和分散注意力的測(cè)試結(jié)果）更不明顯。將CPU專用于鍵顯示功能也有助于優(yōu)化功率，因?yàn)楫?dāng)顯示器未激活時(shí)可以將顯示處理器置于低功率模式。您只需在需要更新顯示器時(shí)喚醒CPU。

基于ARM的生態(tài)系統(tǒng)支持

ARM CPU的普及使用創(chuàng)建了一個(gè)非常強(qiáng)大的生態(tài)系統(tǒng)，支持與視頻圖形相關(guān)的功能。軟件支持包括視頻編解碼器，用于構(gòu)建GUI功能的工具，甚至高級(jí)視頻處理功能。一個(gè)流行的用戶界面（UI）構(gòu)建器是Mentor Graphics的Inflexion UI。它支持拖放創(chuàng)建引人注目的用戶界面，可以針對(duì)運(yùn)行RTOS的應(yīng)用程序，并可以使用目標(biāo)設(shè)備的OpenGL硬件圖形引擎來(lái)實(shí)現(xiàn)2D，2.5D或全3D效果。

另一個(gè)例子是來(lái)自Segger的emWin。 emWin中間件系統(tǒng)為圖形LCD提供了高效的GUI。它以“C”源代碼的形式提供，可在基于ARM的設(shè)備上輕松實(shí)現(xiàn)。該系統(tǒng)包括對(duì)小部件庫(kù)，窗口管理器，渲染支持（具有圖形庫(kù)，基本字體和觸摸/鼠標(biāo)支持）以及輸出和存儲(chǔ)設(shè)備驅(qū)動(dòng)程序的支持。這些只是ARM軟件生態(tài)系統(tǒng)中許多圖形和面向GUI的元素的兩個(gè)例子。

硬件支持非常豐富，供應(yīng)商和第三方提供可開(kāi)發(fā)基于視頻的應(yīng)用程序的開(kāi)發(fā)平臺(tái)。飛思卡爾i.MX53器件具有完整的開(kāi)發(fā)平臺(tái)，可針對(duì)復(fù)雜的設(shè)計(jì)進(jìn)行針對(duì)性的參考設(shè)計(jì)，例如無(wú)線攝像頭接口，可視電話平臺(tái)或更多通用開(kāi)發(fā)平臺(tái)。即使是用于i.MX53的簡(jiǎn)單入門(mén)套件，如MCIMX53-START-R-ND，也可用于評(píng)估i.MX53的一些高級(jí)視頻圖形功能，包括啟動(dòng)Linux，連接攝像頭和駕駛LCD面板。