描述

當我還是個孩子的時候，我對毒藤的反應非常糟糕：疼痛、發癢的皮疹需要去看醫生以獲得強效藥物。毒藤很難識別，并且在難以接收手機信號的地方（森林、遠足小徑、偏遠地區）被發現。擁有一個可以識別低功耗且不需要互聯網連接的毒藤（或其他壞東西）的邊緣設備不是很酷嗎？

在過去的一年里，我開始嘗試使用 TinyML，最近從 Arducam 購買了 Pico4ML 。我很感興趣，因為它配備了 Raspberry Pi RP2040 MCU、單色攝像頭、小型 LCD 顯示器、麥克風和 IMU，所有這些都在一個小尺寸中。我慢慢開始玩這些演示以了解它可以做什么。我還開始修補 Edge Impulse，為各種 MCU 創建圖像、音頻和運動分類模型。

當“ Eyes on Edge: tinyML Vision Challenge ”宣布時，我決定嘗試測試我的新技能！

我從 Edge Impulse 開始并拍攝照片來填充我的圖像分類模型。我開發了 3 個類別：毒藤、非毒藤植物和未知植物（不是植物的隨機物品的照片）。我遵循了 Edge Impulse關于如何開發模型的指導。我使用我女兒的小型數碼相機拍照并將圖像批量上傳到我的 Edge Impulse 項目。

?

將照片上傳到 Edge Impulse 項目

?

之后我設計了沖動。為了與 Pico4ML 的約束保持一致，我選擇了 96x96 單色圖像并使用 Edge Impulse 建議的默認圖像和遷移學習塊。

?

?

我選擇 MobilenetV1 0.2 作為模型，同樣是因為 Pico4ML 的內存限制。雖然不理想，也不是最準確的，但對于應用程序和硬件來說已經足夠了。二十個神經元似乎產生了最好的結果。我還為更多樣化的數據集選擇了數據增強。

?

?

?

選擇這些參數后，我訓練了模型。結果如下：

?

?

對于幾百張圖片來說還不錯！這當然不是最好的模型，對于看起來像毒藤但不是的植物有些混淆。我認為通過毒藤和類似植物（即荊棘葉和黑莓葉）的附加質量圖像可以進一步改進模型。

構建并測試模型后，我將其導出到 C++ 庫以集成到我的項目中。現在，我沒有在 1 次迭代中完成這項工作。在要使用的照片數量/質量和模型類型方面進行了大量試驗（我使用的第一個模型對于 Pico4ML 來說太大了，而且內存不足）。我沒有意識到我必須經歷多少次迭代！

?

?

我在 Raspberry Pi 4B 上進行了開發，因為那似乎是最簡單的界面。我處理了 Pico4ML github上的代碼/指令。我使用 person_detection 演示作為起點，這樣我就可以了解圖像是如何被接收的，以及它們是如何傳遞給 ML 算法的。這是我花費*大量*時間的地方，我感謝 Edge Impulse 團隊一直支持我并在他們的論壇上為我回答問題。

該演示使用 tensorflow lite 微型模型，因此在設置和推理方面，界面與 Edge Impulse 模型有很大不同。對于那些合法的編碼員來說，這可能不是什么大問題，但對于那些十多年沒有編碼的人來說，讓 Edge Impulse 模型與硬件正常工作是一個漫長的過程（請參閱上面的注釋我的原始模型對于硬件來說太大并且導致內存問題）。

一旦我確信我讓它工作了，我的現場結果并不像我希望的那樣令人印象深刻，所以我繼續改進模型，直到我覺得它“足夠好”。下圖顯示了從相機接收到的圖像，以及該圖像是毒藤的概率。如果概率大于 60%，數字變為紅色：小心！

?

成功！（大多數時候！）

?

?

這是一個有趣的練習，我真的覺得它處于 TinyML 的流血“邊緣”。Pico4ML 是低功耗的，所以我可以用一個簡單的 5V 手機電池充電器給它斷電。我的 USB 數據線有一個開/關開關，因此只需點擊一下，對圖像進行分類，然后點擊關閉。對于電力和互聯網不可用的偏遠地區非常有效。

?

簡單設置：電池、USB 數據線、Pico4ML

該項目的未來擴展可能是對您在遠足露營時想在偏遠地區了解的其他“壞”東西進行分類：“這種漿果有毒嗎？這種蘑菇怎么樣？” 隨著 MCU 變得更強大，可以使用具有更好輸入的更好模型（例如，使用彩色圖像而不是單色圖像）。其他改進可能是多個類（而不是我這里的二進制分類），最終是對象檢測！

這是我提交給 hackster.io 的第一個項目，希望你喜歡它！