描述

靈感

最近，我一直在嘗試使用 Edge Impulse 在圖像數據集上訓練 TensorFlow 模型。因此，在考慮萬圣節時，幾乎每個人都會遇到一個常見問題。為什么整理和整理所有糖果需要這么長時間？因為單獨拾起每一塊并將其放入各自的堆中會耗費太多精力，所以我想利用機器學習的力量來自動化這個過程。

工作原理

該理論如下：用戶首先將一塊糖果放在平臺上，然后由相機對其進行掃描。該圖像被一個模型分類，該模型產生一個它認為糖果是什么的標簽。根據結果??，選擇一堆，然后平臺移動到該位置。一旦它到達，某種推動機構將糖果推入堆中，然后平臺返回并重新設置循環。

設置邊緣脈沖

為了收集訓練數據并生成 TensorFlow 模型，我選擇了 Edge Impulse。我首先創建了一個名為“candySorter”的新項目，然后前往設備頁面。Edge Impulse 有一個不錯的功能，您可以導入多種類型的數據并僅根據文件名自動推斷其標簽，因此我編寫了一個簡單的 Python 腳本，該腳本使用 Pi 的相機拍照并在按下按鈕時將其保存為所需的標簽被按下。

?

?

?

?

1 / 2

?

訓練和部署模型

現在有大量的圖像數據，是時候在其上訓練一個 TensorFlow 模型了。對于輸入，我使用了一個將原始圖像縮放為 96x96 像素大的圖像塊。處理塊只是將顏色深度設置為 RGB 而不是單色，訓練塊利用 MobileNetV2 模型的遷移學習。輸出是以下標簽之一：kitkat、sour patch、twizzler或reeses。

?

訓練完成后，我將模型部署為獨立的 Web 程序集庫，可以從 Node.js 源文件外部調用。

?

處理圖像

該系統使用 Raspberry Pi 4 使用 Raspberry Pi 相機模塊捕獲圖像，但分類器無法理解該格式，它需要一個特定大小的像素值數組。因此，捕獲被保存到BytesIO流中并調整為 96x96 像素大。然后將其轉換為一串扁平像素值，該字符串接受一個 RGB 值元組并將其轉換為單個十六進制值并將其附加到列表中。

?

?

?

?

1 / 2

?

分類對象

該subprocess.run()函數調用 Node.js 源文件，并將顏色數據字符串作為參數傳遞給程序，然后在程序中對其進行解析并提供給模型。在模型提出它認為的對象后，會通過標準輸出輸出 JSON 字符串，然后將其通過管道傳輸到 Python 變量并解析為字典對象。最后，找到最大值并提取相關標簽并用于確定應將糖果放入哪個箱中。然后通過 USB 將此 bin 編號發送到等待的 Arduino Mega 2560。

?

硬件

首先是 x 軸滾輪，它由單個 NEMA17 步進電機移動到位，該步進電機由 DRV8825 步進電機驅動器模塊驅動。

我的 3D 打印機壞了，所以我不得不用木頭做這個：/

?

當 Arduino Mega 2560 啟動時，它會通過緩慢滑動滾輪來使軸歸位，直到它碰到限位開關，此時它為 0。當有新的串行數據時，它被讀取并解析為一個整數，表示 bin糖果應放入。箱子間隔 10 厘米，所以這個數字乘以 100 毫米，步進器移動相應的步數。到達目的地后，頂部的螺線管會啟動并快速推動下方的糖果。

?

?

?

?

1 / 2

?

將糖果分揀成堆

將 ML 模型加載到 Pi 上后，我將所有東西都插入。實際的排序機制自動運轉起來，并且 Pi 開始顯示它所看到的預覽。從那里，我簡單地把一塊糖果放在平臺上，然后按下按鈕給它拍照。該圖像被調整大小并發送到模型，模型決定了它的標簽。最后，將箱號發送過來，并將糖果存放到正確的位置。將來，我想通過添加一個漏斗來進一步自動化這一過程，該漏斗可以將糖果倒在頂部，然后隨著時間的推移單獨存放每一塊。

?

?