TensorFlow Lite for MCUs - 網(wǎng)絡邊緣的人工智能
在技術(shù)發(fā)展的歷史上，技術(shù)先獨立發(fā)展再相互融合以改變世界的例子比比皆是。原子能和噴氣式發(fā)動機的融合催生了核航空母艦，改變了20世紀大部分戰(zhàn)爭的形態(tài)。計算機和射頻通信的融合產(chǎn)生了智能手機，同時也重新定義了我們與技術(shù)以及彼此之間的互動方式。今天，嵌入式電子和人工智能 (AI) 的融合正日益成為下一個具有顛覆性的技術(shù)組合。接下來我們就看一下這種融合的發(fā)展演變。
歡迎來到網(wǎng)絡邊緣
人工智能的概念最早出現(xiàn)在古希臘人的著作中，但直到20世紀上半葉，才開始將其作為一種實際技術(shù)進行開發(fā)。從根本上來說，AI使數(shù)字技術(shù)像人腦一樣，能夠與模擬世界有效互動、響應溝通。為了使AI在現(xiàn)實世界的應用具有實用性，比如自動駕駛車輛，在處理多個動態(tài)輸入時，電子設(shè)備和物理世界之間的交互必須接近瞬時完成。值得慶幸的是，隨著機器學習算法的發(fā)展，嵌入式電子系統(tǒng)也在不斷進步。他們的聯(lián)姻催生了邊緣計算的概念。
邊緣計算獲得了過去只有云端強大的處理硬件才能實現(xiàn)的處理能力，并將這種能力帶給了位于物理-數(shù)字接口邊緣的本地設(shè)備。再加上微控制器和傳感器等廉價而穩(wěn)健的嵌入式組件的普及，給自動化領(lǐng)域，無論是規(guī)模上還是功能上都帶來了一場革命。
TensorFlow Lite: 微型硬件上的大ML算法
TensorFlow是Google主導開發(fā)的一套開源軟件庫，使開發(fā)人員能夠輕松地將復雜的數(shù)值計算算法和機器學習（ML）集成到他們的項目中（圖1）。按照Google的說法，這些庫為Python（所有平臺上的Python 3.7+）和C提供穩(wěn)定的應用程序編程接口，另外還提供沒有向后兼容保證的C++、Go、Java 和JavaScript API。此外，還針對Apple公司的Swift語言提供了一個alpha版本。
圖1：Google的TensorFlow Lite for Microcontrollers網(wǎng)站。（資料來源：Google）
TensorFlow為深度神經(jīng)網(wǎng)絡 (DNN) 的開發(fā)和利用提供了所謂的端到端機器學習支持。 DNN是ML的一種實現(xiàn)，它特別擅長模式識別以及對象檢測與分類。TensorFlow庫支持機器學習過程的兩個階段，即訓練和推理。首先是深層神經(jīng)網(wǎng)絡的訓練，這需要大量算力，通常由服務器級硬件和圖形處理單元 (GPU) 提供。最近開發(fā)了被稱為張量處理單元 (TPU) 的專用集成電路來支持這種訓練。第二階段是推理，即利用現(xiàn)實世界中經(jīng)過訓練的DNN來響應新的輸入，按照培訓好的模型分析這些輸入，并根據(jù)分析結(jié)果提出建議。這應該是嵌入式產(chǎn)品開發(fā)人員比較感興趣的階段。
TensorFlow Lite for Microcontrollers（TensorFlow庫的一個子集）專門用于在內(nèi)存受限的設(shè)備上執(zhí)行推理，大多數(shù)嵌入式系統(tǒng)應用中都存在這種設(shè)備。它不允許您訓練新網(wǎng)絡，這仍然需要較高端的硬件。
實用為王：ML應用實例
人工智能、神經(jīng)網(wǎng)絡和機器學習等術(shù)語可以看成是科幻小說或行話。那么這些新興技術(shù)的現(xiàn)實意義何在？
運行在嵌入式系統(tǒng)上的AI算法的目標，是以比傳統(tǒng)程序或面向?qū)ο蟮木幊谭椒ǜ咝У姆绞教幚韨鞲衅魇占恼鎸嵤澜鐢?shù)據(jù)。也許在大家的意識中，最明顯的使用案例是從傳統(tǒng)汽車到具有自動輔助功能（如車道偏離警報和防撞系統(tǒng)）的汽車，再到無人駕駛汽車這個最終目標的發(fā)展歷程。不過，深度學習還有其他一些不那么明顯的用例，雖然你不知道，但已經(jīng)在使用了。智能手機中的語音識別或Amazon Alexa等虛擬助手均使用了深度學習算法。其他用例包括用于安防領(lǐng)域的面部檢測和/或背景替換、sans綠幕、遠程會議軟件（如Zoom）等。
同時使用機器學習算法和互聯(lián)網(wǎng)連接的設(shè)備（如物聯(lián)網(wǎng)設(shè)備）的一個巨大優(yōu)勢是，隨著時間的推移，產(chǎn)品可以通過簡單的無線固件更新來集成新的或經(jīng)過更好訓練的模型。這意味著產(chǎn)品可以逐漸變得更加智能，并且不局限于制造時可能實現(xiàn)的功能，只要新型號和固件不超出硬件的物理內(nèi)存和處理能力即可。
圖2：將TensorFlow模型轉(zhuǎn)換為可在微控制器等內(nèi)存受限設(shè)備上使用的版本。（資料來源：NXP）
工作流程
根據(jù)TensorFlow Lite for Microcontrollers的附帶文檔，開發(fā)人員的工作流程可以分為五個關(guān)鍵步驟（圖2）， 具體如下：
| 1. | 創(chuàng)建或獲取一個TensorFlow模型：該模型必須足夠小，以便在轉(zhuǎn)換后適合目標設(shè)備，并且它只能使用支持的運算。如果要使用當前不支持的運算，可以提供自定義實現(xiàn)。 |
| 2. | 將模型轉(zhuǎn)換為TensorFlow Lite FlatBuffer：您將使用TensorFlow Lite轉(zhuǎn)換器將模型轉(zhuǎn)換為標準TensorFlow Lite格式。您可能希望輸出一個量化模型，因為這種模型的尺寸更小，執(zhí)行效率更高。 |
| 3. | 將FlatBuffer轉(zhuǎn)換為C字節(jié)數(shù)組：模型保存在只讀程序內(nèi)存中，并以簡單的C文件形式提供。可以使用標準工具將FlatBuffer轉(zhuǎn)換為C字節(jié)數(shù)組。 |
| 4. | 集成TensorFlow Lite for Microcontrollers C++庫：編寫微控制器代碼來收集數(shù)據(jù)，使用C++庫執(zhí)行推理，然后使用結(jié)果。 |
| 5. | 部署到設(shè)備：編寫程序并將其部署到您的設(shè)備。 |
在選擇與TensorFlow Lite庫一起使用的兼容嵌入式平臺時，開發(fā)人員應注意以下幾點：
| 1. | 基于32位架構(gòu)（如Arm Cortex-M處理器）和ESP32的系統(tǒng)。 |
| 2. | 它可以運行在內(nèi)存大小達數(shù)十KB的系統(tǒng)上。 |
| 3. | TensorFlow Lite for Microcontrollers是用C++ 11編寫的。 |
| 4. | TensorFlow Lite for Microcontrollers可作為Arduino庫提供。該框架還可以為其他開發(fā)環(huán)境（如Mbed）生成項目。 |
| 5. | 不需要操作系統(tǒng)支持、動態(tài)內(nèi)存分配或任何C/C++標準庫。 |
接下來的步驟
Google提供四個事先訓練好的模型作為示例，可用于在嵌入式平臺上運行。只需稍做修改，就能在各種開發(fā)板上使用。這些示例包括：
| ● | Hello World：演示使用TensorFlow Lite for Microcontrollers的必備基礎(chǔ)知識。 |
| ● | Micro-Speech：用麥克風捕捉音頻以檢測單詞“yes”和“no”。 |
| ● | Person Deflection：用圖像傳感器捕捉攝像頭數(shù)據(jù)，以檢測是否有人。 |
| ● | Magic Wand：捕獲加速度計數(shù)據(jù)以對三種不同的手勢進行分類。 |
審核編輯：郭婷
-
發(fā)動機
+關(guān)注
關(guān)注
33文章
2443瀏覽量
69176 -
嵌入式
+關(guān)注
關(guān)注
5072文章
19026瀏覽量
303517 -
人工智能
+關(guān)注
關(guān)注
1791文章
46896瀏覽量
237670
發(fā)布評論請先 登錄
相關(guān)推薦
工商網(wǎng)監(jiān)
評論