在視頻監控方面，設計師和他們的客戶長期以來一直被迫滿足于效率極低的系統，這些系統依賴于“愚蠢”的批量圖像捕獲和存檔，絕大多數記錄的內容是不感興趣的，而感興趣的內容假設它已經存檔，它本身就很難在存檔中查明。然而，現在，功能強大、節能且具有成本效益的處理器、圖像傳感器和存儲設備與日益復雜的軟件相結合，為系統開發人員提供了將寶貴的計算機視覺處理能力整合到從消費者監控系統到應用程序的機會。可穿戴的“生活博客”相機。

　　智能的、事件驅動的視頻監控僅在例如人或其他感興趣的對象進入畫面時記錄圖像，并且僅在對象留在畫面中時才記錄圖像。這種自主智能在歷史上可能僅在政府、軍隊和其他高端客戶使用的昂貴、笨重、耗電的設備中提供，現在它可以以消費者友好的價格提供，電池壽命長，并且以一種形式因素小而輕，足以美觀地坐在架子上。

　　您可以利用當今視覺處理硬件和軟件提供的潛力做些什么？以下是基于消費者監控系統案例研究的一些想法：

　　一個基本設計可能會在它感應到幀中的運動時開始記錄，并持續一段固定的時間。稍微復雜一點的方法是可變長度記錄，直到發現物體運動停止和/或物體從幀中消失。

　　然而，這種方法可能會產生大量由吹樹葉、經過的車輛等引起的“誤報”。因此，如果溫血動物是唯一感興趣的對象，您可能需要在可見光相機上添加紅外探測器或其他熱傳感器。更一般地說，可用算法可以讓您微調對象“觸發器”的大小、顏色、距離、移動速率和其他閾值參數。

　　如果你只關心有洞察力的人怎么辦？面部檢測功能可以在這方面提供幫助。您甚至可能有興趣在有人進入畫面時觸發相機……除非那個人是您自己、您的配偶、您的孩子、郵遞員等。為此，您將需要更強大的面部識別設施。

　　OpenCV 計算機視覺庫

　　與典型的一樣，該項目從其軟件定義和開發計劃開始（并且從根本上受其約束）。在過去的幾十年里，計算機視覺主要是一個學術研究領域；因此，在這個特定領域還沒有一個大型、成熟的行業專業知識庫。此外，學術實驗往往不能廣泛適用于現實世界的實施，例如，環境照明和天氣條件可能因一種使用情況而異，以及偏離研究實驗室中發現的更受控制的條件。

　　幸運的是，像往常一樣，開源社區提供了資源幫助。OpenCV（開源計算機視覺）庫起源于英特爾的研究部門；公司在 2000 年的 CVPR（IEEE Computer Vision and Pattern Recognition，著名的計算機視覺會議）上正式向公眾公開。在前五年的 beta 測試中，OpenCV 在 2006 年獲得了 v1.0“黃金”地位，三年后是 v2.0，2015 年年中是 v3.0（截至去年 12 月，v3.1 是最新版本）。

　　OpenCV 在 BSD 許可下發布，可免費用于學術和商業用途。它采用優化的 C/C++ 編寫，具有 C++、C、Python 和 Java 接口，支持 Windows、Linux、Mac OS、iOS 和 Android 操作系統。值得注意的是，對于這個特定的監控攝像頭項目，該庫包含 2，500 多種算法，包括可用于識別和跟蹤對象、檢測和識別人臉以及對人類行為進行分類的算法。

　　Microchip Technology 的 PIC32MZ EF 系列 MCU

　　然而，值得一提的是使用 OpenCV 的一個潛在缺點。該庫以英特爾和 PC 為中心的起源反映在其中包含的許多基礎代碼都是基于浮點的這一事實，這對于某些僅定點的嵌入式系統設計可能存在問題。說實話，大多數計算機視覺功能甚至不需要浮點精度。因此，一些處理器供應商已經開發了部分或全部 OpenCV 庫的架構定制版本，處理代碼的浮點到定點轉換以及提供其他優化。但是，如果您堅持自己進行轉換，那么這項工作可能會因成本和進度而受到限制。

　　Microchip 的新型PIC32MZ EF MCU為 OpenCV 浮點問題提供了一種直接的替代解決方案（圖 1）。它們的核心是高性能 32 位 MIPS microAptive 處理器，運行頻率高達 200 MHz，能夠處理各種計算機視覺功能。此外，為了反映 48 個成員產品系列名稱中的“EF”后綴，Microchip 還在整數 CPU 旁邊嵌入了一個 32 位和 64 位符合 IEEE 754 的七級 FPU，能夠以不變的方式運行浮點 OpenCV 代碼并且高速。

　　圖 1：高性能 CPU 與 32 位和 64 位 FPU 協處理器的組合使 Microchip 的 PIC32MZ EF MCU 在使用開源代碼時成為引人注目的候選者。（圖片由微芯科技提供）

　　PIC32MZ EF 的其他有用方面包括其集成的 10/100 Mbit 以太網 MAC 和大量系統接口（品種和數量在某種程度上取決于封裝和引腳分配……MCU 系列有多種選擇）。MAC 與外部 PHY 相結合，可以直接（如果您選擇有線以太網是您選擇的網絡技術）或通過外部有線到無線以太網橋接間接支持監控攝像機的網絡連接需求。或者，您可以通過連接到 PIC32MZ EF USB 2.0 或其他接口端口的外部收發器來實現無線蜂窩和/或以太網連接。

　　圖像傳感器替代品

　　前面提到的 MCU 接口多樣性不僅有利于提供網絡連接多樣性，而且有利于圖像傳感器的靈活性。將相機連接到 PIC32MZ EF 的一種直接方法是在設計中加入 OmniVision Technologies OVM7690 VGA 分辨率相機模塊，通過 8 位 I/O 端口連接到MCU（圖 2）。這種方法有幾個關鍵原因是有益的；OVM7690 已經包含晶圓級光學元件，例如 64° 視場（對角線）、F/3.0 鏡頭，因此您無需在設計中添加單獨的光學子系統。此外，OVM7690 嵌入了一個專用的圖像處理器，從而減輕了 PIC32MZ EF 的圖像預處理任務，例如去馬賽克、重新縮放、格式轉換和曝光控制。

　　圖 2：集成相機模塊吹捧設計簡單（頂部），但它提供的圖像雖然令人賞心悅目，但與傳統圖像傳感器的未處理輸出（底部）相比，它可能不太適合計算機視覺處理。（圖片分別由 OmniVision Technologies 和 ON Semiconductor 提供）

　　但是，存在可能迫使您轉而使用傳統圖像傳感器（例如安森美半導體的 VGA 分辨率 NOIL1SM0300A）與您自己設計的鏡頭并通過其 SPI 端口之一連接到 PIC32MZ EF 的合理情況。首先，人眼喜歡的圖像可能反過來被視為對計算機視覺處理算法有害。例如，由圖像預處理器自動完成的邊緣增強可能會導致將對象與其背景區分開來的任務復雜化。自動曝光控制、黑白電平平衡、色彩校正以及通常由內置在相機模塊中的圖像協處理器默認完成的類似任務也是如此。

　　例如，您可能還需要與傳感器模塊制造商提供的不同的鏡頭焦距和/或光圈。但是，無論您使用集成攝像頭模塊還是獨立圖像傳感器，您都可能會發現具有成本效益的 VGA 分辨率產品選項就足夠了；有時，您甚至只需要更便宜的 QVGA 或 CIF 分辨率產品。唯一可能需要超過 3 Mpixels 分辨率的情況是，如果您試圖辨別遠處的物體，或者在特別惡劣的環境觀察條件下，這兩種情況都會受益于更大的源圖像細節。如果您的目標客戶堅持觀看“高清”視頻，您也可以選擇更高分辨率的圖像傳感器或攝像頭，

　　本地大容量存儲

　　回想一下，該項目的基本目標是僅在相機“看到”的感興趣事件發生時才錄制視頻，并且僅在該事件持續時才錄制。在這樣做的過程中，該實施最大限度地減少了設計所需的閃存或其他存儲技術的容量（更不用說在此過程中節省寶貴的電池壽命）。盡管如此，雖然 512 KB 到 2 MB 的閃存以及集成在各種 PIC32MZ EF MCU 系列成員中的 128 KB 到 512 KB RAM 可能足以滿足非易失性代碼存儲和瞬態數據存儲的目的，但更高容量的外部存儲視頻剪輯本身仍然是必要的。

　　當然，您總是可以使用獨立的 NAND 閃存設備（或其中一些），通過 I/O 總線與 MCU 配對。但是，您需要開發自己的媒體管理軟件，以處理后臺“垃圾收集”清理已填充有效和/或停用視頻數據的閃存擦除塊，以及磨損級別媒體，以防止某些擦除塊與其他擦除塊的“熱”過度循環。此外，這種媒體管理需要由 MCU 本身處理，從而消耗寶貴的處理器周期，否則這些周期可能會專門用于計算機視覺處理和其他任務。

　　相反，請考慮使用包含自己的媒體管理控制器的閃存大容量存儲解決方案。選項包括可移動 SD 卡（以及更小的 mini SD 和 micro SD 兄弟），以及Micron Technology 的 BGA 封裝 e.MMC NAND 閃存; 這兩個選項都通過少引腳 I/O 總線連接到 PIC32MZ EF MCU。例如，根據捕獲的幀分辨率、幀速率和壓縮格式，美光的 32 GByte e.MMC 應該能夠讓您存儲數十分鐘到數小時的視頻。此外，通過電子郵件、短信或其他警報，您可以將新視頻的捕獲狀態（連同視頻本身的部分或全部）傳達給監控系統所有者；視頻將保留在攝像機中，以供后續查看、存檔和/或刪除。

　　具有集成媒體管理控制器的閃存大容量存儲解決方案既可以釋放系統處理器來處理其他任務，又可以簡化您的軟件開發工作。（圖片由美光科技提供）

　　結論

　　誠然，這個項目描述并不是包羅萬象的。例如，仍需要添加 AC/DC 和 DC 步進電源子系統，并且您可能還需要包含麥克風和 ADC，以便將音頻與圖像一起錄制。但是，它涵蓋了設計的一些關鍵部分。每種算法越復雜，組合的越多，最終導致 PIC32MZ EF 的 CPU 和 FPU 的處理潛力超載的可能性就越大。話雖如此，用于對象識別的新興卷積神經網絡“深度學習”技術等新算法以及對現有算法的優化一直在出現。

　　圖 ：卷積神經網絡 （CNN） 和其他“深度學習”方法一旦使用一系列參考圖像進行訓練，就可以在大量處理和內存需求的權衡下提供令人印象深刻的對象識別結果。（圖片由維基百科提供）

　　強烈建議在生產前進行大量現場測試；不可避免地，您會遇到在產品開發過程中沒有考慮到的環境條件和使用場景，這將需要對算法進行微調。除了實現上的細微差別之外，運行 OpenCV 等開源軟件的 PIC32MZ EF MCU 等經濟高效的處理器與傳感器或相機模塊捕獲的圖像、存儲到常駐閃存并通過網絡連接傳輸的圖像相結合，創造了所有各種有趣的應用：現有產品的增強和全新的產品類別。稍后我們將有更多關于 CNN 的內容。