一、Android智能手機遠程視頻監控的設計

　　摘要：為了實現移動視頻監控，提出了一種基于智能手機的遠程視頻監控系統。介紹了監控系統的體系結構和硬件平臺，闡述了嵌入式操作系統Android 應用程序的開發方法，并結合實際的應用系統，重點論述了Android 平臺上視頻監控客戶端的設計思路。移植了音視頻解碼庫FFmpeg 進行H. 264 視頻解碼，并采用OpenGL ES 實現實時視頻顯示。在無線局域網絡的環境下對視頻監控終端進行測試，達到了利用手機進行移動視頻監控的目的。

　　隨著多媒體技術、視頻壓縮技術以及網絡傳輸技術的發展，視頻監控正朝著數字化、網絡化、智能化方向持續發展，并越來越廣泛地滲透到政府、教育、娛樂、醫療等領域。目前大部分的網絡視頻監控系統是基于WEB 服務器的， 監控終端為PC機，用戶使用瀏覽器獲取監控服務。由于互聯網接入地點的限制，普通的網絡視頻監控無法滿足用戶在任何時間、任何地點獲取監控信息的需求。

參閱相關系列文章

Android系統開發全攻略（一）

　　本文介紹了一種以Android 智能手機為終端的視頻監控系統，該系統將傳統的視頻監控與移動多媒體技術相結合，真正實現了移動視頻監控。

　　1系統的結構

　　本文中的視頻監控系統采用C/ S 體系結構。

　　如圖1 所示，該系統由視頻采集端（ 攝像頭），視頻服務器以及監控客戶端等構成。

　　圖1視頻監控系統總體結構

　　視頻服務器是整個系統的核心部分，它將攝像頭采集到的原始模擬信號轉換為數字信號，并對視頻數據進行編碼壓縮，最后通過Internet 將壓縮后的數據傳送至客戶端。客戶端通過TCP/ IP 協議訪問服務器，通過對視頻數據的接收、解碼以及顯示，實現實時預覽功能。客戶端也可以根據用戶需求發送控制命令，實現對前端設備的控制操作，如云臺控制等。

　　服務器部分采用Hi3515 處理器芯片為硬件平臺，并移植了嵌入式操作系統Linux 作為整個系統運行的軟件環境。Hi3515 是一款基于ARM9 處理器內核以及視頻硬件加速引擎的高性能通信媒體處理器，具有H. 264 和MJPEG 多協議編解碼能力。

　　本文以基于Hi3515 的遠程視頻監控系統為例，重點介紹了Android 平臺上監控客戶端的設計過程。

　　2Android 開發介紹

　　Android 是基于Linux 開放性內核的操作系統，是Google 公司在2007 年11 月5 日公布的手機操作系統。Android 采用軟件堆層的架構，主要分為三部分：底層以Linux 核心為基礎，提供基本功能；中間層包括函數庫和虛擬機；最上層是各種應用軟件。

　　Android 平臺顯著的開放性使其擁有眾多的開發者，應用日益豐富，不僅應用于智能手機，也向平板電腦、智能MP4 方面急速擴張。

　　Android 應用程序用Java 語言編寫，每個應用程序都擁有一個獨立的Dalvik 虛擬機實例，這個實例駐留在一個由Linux 內核管理的進程中。Dalvik支持Java Native Interface（JNI）編程方式，Android 應用程序可以通過JNI 調用C/ C++開發的共享庫，實現“Java+C冶的編程方式。開發Android 應用程序最簡捷的方式是安裝Android SDK 和Eclipse IDE.

　　Eclipse 提供了一個豐富的Java 環境，Java 代碼通過編譯后，Android Developer Tools 會將它打包，用于安裝。

　　3 監控客戶端的設計與實現

　　基于Android 平臺的監控客戶端的總體框架如圖2 所示，分別由網絡通訊模塊、視頻解碼模塊以及視頻顯示模塊等構成。其中網絡通訊模塊接收來自服務器的所有數據，對數據進行解析，并將視頻數據存入到視頻緩沖區。視頻解碼模塊負責從視頻緩沖區中讀取數據并送入H. 264 解碼器進行解碼。最后，采用OpenGL 圖形庫將解碼后圖像繪制到屏幕上實現視頻播放。

　　圖2客戶端總體框架。

　　3. 1 H. 264 視頻解碼器的實現

　　在網絡視頻監控系統中，視頻的編碼壓縮是非常必要和關鍵的工作，沒有經過壓縮的海量數據對網絡傳輸系統來說是無法承受的［7］ .H.264 是目前最先進的視頻壓縮算法，它由視頻編碼層VCL 和網絡提取層NAL 兩部分組成。其中，VCL 進行視頻編解碼，包括運動補償預測、變換編碼和熵編碼等；NAL 采用適當的格式對VCL 視頻數據進行封裝打包。H.264 標準對編碼效率和圖像質量進行了諸多改進，且抗丟包性能和抗誤碼性能好，適應各種網絡環境，非常適合于對壓縮率要求高，網絡環境復雜的移動視頻監控。

　　客戶端接收的數據是經過H.264 編碼壓縮后的數據，需要經過H.264 解碼還原視頻圖像后才能夠顯示，因此，H.264 解碼器是客戶端的關鍵部分。這里移植了開源的音視頻解碼庫FFmpeg 進行H.264 解碼。在Android 應用程序中使用FFmpeg 的步驟如下：

　　（1）在Linux 環境下安裝Android 原生開發工具包NDK.

　　（2） 創建jni 文件夾，將FFmpeg 工程復制到文件夾下。創建H264Decoder. c 源文件，提供Android程序使用的接口函數，文件需要包括JNI 的操作頭文件《jni. h 》， 且函數名有固定的形式， 如com_ipcamera_PreView_H264Decoder 表示com_ipcamera包下面PreView 類中H264Decoder 函數。

　　（3）創建Android. mk 文件，該文件包含正確構建和命名庫的MakeFile 說明。分別在LOCAL_SRC_FILES 和LOCAL_C_INCLUDES 項中添加編譯模塊所需源文件和頭文件目錄。

　　（4）執行NDK 開發包中的ndk鄄build 腳本，生成對應的。 so 共享庫，并復制到Android 工程下的libs/armeabi 目錄下。

　　（5） 在Android 程序中通過System. loadLibrary（”庫名稱冶）加載所需要的庫，加載成功后，應用程序就可以使用H264Decoder 函數進行H.264 的解碼。

　　3. 2 OpenGL ES 繪圖

　　為了提高繪圖的效率，客戶端使用OpenGL ES實現視頻圖像的顯示。OpenGL ES 是一個2D/3D輕量圖形庫，是跨平臺圖形庫OpenGL 的簡化版。

　　OpenGL ES 專門針對手機、PDA 和游戲主機等嵌入式設備而設計，目的是為了充分利用硬件加速，適合復雜的、圖形密集的程序。

　　Android 中使用GLSurfaceView 來顯示OpenGL視圖，該類繼承至SurfaceView 并包含了一個專門用于渲染3D 的接口Renderer，主要通過實現ON鄄DrawFrame、onSurfaceChanged 以及onSurfaceCreated等方法構建所需的Renderer.解碼器解碼一幀圖像后，調用GLSurfaceView 的requeSTRender 方法通知OpenGL ES 完成視頻圖像的顯示。使用OpenGL 繪圖的核心代碼如下：

　　3. 3多線程設計

　　視頻數據的接收和解碼都是復雜、持續的過程，如果其中一個過程出現阻塞會影響整個程序的運行，因此，客戶端使用多線程實現數據接收和視頻解碼的并行處理。在整個程序運行過程中，主線程響應用戶操作，負責屏幕刷新工作，并創建兩個子線程：數據接收和視頻解碼子線程，處理過程如圖3 所示。

　　圖3子線程處理流程。

　　在Java 中， 多線程的實現有兩種方式： 擴展java. lang. Thread 類或實現java. lang. Runnable 接口。這里通過繼承Thread 類并覆寫run（）方法實現兩個子線程。在多線程的應用中關鍵是處理好線程之間的同步問題，以解決對共享存儲區的訪問沖突，避免引起線程甚至整個系統的死鎖。Java 多線程主要利用synchronized 關鍵字和wait（ ）、notify（ ） 等方法實現線程間的同步。

　　4 結束語

　　目前，該系統已經在實驗室進行測試，服務器輸出15fps CIF 格式的H. 264 視頻數據，客戶端安裝在Android 手機上，通過WIFI 接入無線局域網中與服務器建立連接，用戶界面如圖4 所示，可實現遠程視頻預覽、云臺控制等操作。

　　圖4 監控客戶端

　　隨著3G 時代的到來，數據傳輸速度有了大幅提升，為移動實時視頻業務的實現創造更好的條件。

　　手機用戶可以直接接入3G 網絡訪問視頻監控服務器，實現移動在線的實時視頻監控。由此可見，手機視頻監控市場潛力巨大，具有很好的發展前景。