描述

一家商店可能會因為產(chǎn)品缺貨或在大商店貨架上的擺放位置不正確而導致銷售額下降。工作人員進行目視檢查，以發(fā)現(xiàn)貨架上缺貨和錯放的產(chǎn)品。

我們正在嘗試使視覺檢查過程自動化，其中計算機視覺充當另一組眼睛，監(jiān)視商店中的每個貨架。經(jīng)過訓練的 FOMO 模型可以識別商店庫存中的產(chǎn)品，并在需要補貨時提醒員工。FOMO 模型經(jīng)過訓練可以識別商店中的所有產(chǎn)品。該模型可以識別和計算貨架上可用物品的數(shù)量。當計數(shù)低于閾值時，工作人員會立即收到警報，從而確保產(chǎn)品的適當供應。

人工智能支持的庫存控制還使管理人員能夠跟蹤產(chǎn)品趨勢并更輕松地下新產(chǎn)品訂單以滿足未來需求。

優(yōu)點

• 對店內(nèi)商品進行實時檢測和統(tǒng)計
• 庫存不足時立即發(fā)出警報
• 可升級系統(tǒng)監(jiān)控進出庫時間，幫助管理者追蹤產(chǎn)品動向
• 可以分析用戶行為以修改商店中產(chǎn)品的對齊方式
• 管理商店所需的員工數(shù)量減少。
• 員工無干擾的環(huán)境為客戶提供了更多的探索空間。

它是如何工作的？

該系統(tǒng)的關鍵部件是智能相機。智能相機由一個 Raspberry Pi 4 和一個兼容的相機模塊組成，在其中運行一個物體檢測模型。對象檢測模型計算貨架上的產(chǎn)品數(shù)量，當數(shù)量低于閾值時，會在 Web 界面中生成警報。

?

硬件要求

• 樹莓派 4B
• 5MP 攝像頭模組
• 兼容電源

軟件要求

• 邊緣脈沖 Python SDK
• Python 3.x
• HTML、CSS、JS

硬件設置

當前的硬件設置非常少。該設置包括使用 15 針帶狀電纜連接到 Raspberry Pi 4B 的 5 MP 攝像頭模塊。

?

軟件設置

如果您是新手，還沒有為 EdgeImpulse 設置 Raspberry Pi，請按照此快速教程將設備連接到 EdgeImpulse 儀表板。

成功連接設備后，您應該會在“設備”選項卡中看到類似這樣的內(nèi)容。

?

構建 TinyML 模型

1. 數(shù)據(jù)采集與標注

在初步的軟件和硬件設置之后，現(xiàn)在是構建對象檢測模型的時候了。讓我們從收集一些數(shù)據(jù)開始。我們可以使用兩種方法來收集數(shù)據(jù)。我們可以使用連接的設備直接收集數(shù)據(jù)，也可以使用 Uploader 上傳現(xiàn)有數(shù)據(jù)。在這個項目中，我們使用前一種方法。

?

上傳數(shù)據(jù)后，我們可以從標記隊列中標記未標記的圖像。這里我們有兩個類，因此有兩個標簽 - Drink 和 Biscuit 。

2. 沖動設計

由于我們的案例是實時檢測和計數(shù)，因此我們需要一個性能更快且準確度可靠的模型。所以我們使用 FOMO 來生成一個輕量級、更快的模型。由于 FOMO 在 96x96 圖像上表現(xiàn)更好，我們將圖像尺寸設置為 96px。保持調(diào)整大小模式以適合最短軸，向脈沖添加圖像處理塊和對象檢測（圖像）學習塊。

?

轉(zhuǎn)到“圖像”選項卡，選擇顏色深度并保存用于生成特征的參數(shù)。我們選擇RGB作為顏色深度。生成特征后，繼續(xù)訓練模型。

?

3.模型訓練

現(xiàn)在我們已經(jīng)設計了沖動，讓我們繼續(xù)訓練模型。我們用于模型訓練的設置如圖所示。您可以調(diào)整模型訓練設置，使訓練后的模型表現(xiàn)出更高的準確性，但要注意不要過度擬合。

?

我們使用FOMO (MobileNet V2 0.35)作為神經(jīng)網(wǎng)絡。讓我們使用默認訓練設置訓練模型，看看輸出模型的準確性。

?

通過大量的訓練數(shù)據(jù)，我們使用默認訓練設置本身達到了 98.9% 的非常好的準確率。現(xiàn)在讓我們看看模型在測試數(shù)據(jù)上的表現(xiàn)如何。為此，請繼續(xù)進行模型測試和全部分類。

?

該模型在測試數(shù)據(jù)上也表現(xiàn)出色。現(xiàn)在是測試最后階段或更確切地說是模擬部署的時候了。轉(zhuǎn)到“部署”選項卡并直接在您的手機上運行 Impulse 。現(xiàn)在將手機放在您的產(chǎn)品前面，看看模型在現(xiàn)實世界中的表現(xiàn)如何。

?

該模型在現(xiàn)實世界中表現(xiàn)非常好。那么，讓我們繼續(xù)部署。

Firebase 實時數(shù)據(jù)庫

對于我們的項目，我們使用了 Firebase 實時數(shù)據(jù)庫，它使我們無需等待即可快速上傳和檢索數(shù)據(jù)。在這種情況下，我們利用了 Pyrebase 包，它是 Firebase 的 Python 包裝器。

要安裝 Pyrebase，

pip install pyrebase

在數(shù)據(jù)庫中，按照給定的步驟操作。

• 創(chuàng)建一個項目。
• 然后導航到構建部分并創(chuàng)建一個實時數(shù)據(jù)庫。
• 以測試模式啟動，因此我們可以在不進行任何身份驗證的情況下更新數(shù)據(jù)
• 從項目設置中，復制配置。

現(xiàn)在通過替換配置詳細信息將這段代碼添加到您的 python 文件中以從 firebase 訪問數(shù)據(jù)。

import pyrebase
config = {
"apiKey": "apiKey",
"authDomain": "projectId.firebaseapp.com",
"databaseURL": "https://databaseName.firebaseio.com",
"storageBucket": "projectId.appspot.com"
}
firebase = pyrebase.initialize_app(config)

網(wǎng)絡界面

我們正在使用使用 HTML、CSS 和 JS 創(chuàng)建的網(wǎng)頁來實時顯示缺陷。Firebase Realtime Database 中更新的數(shù)據(jù)在網(wǎng)頁上實時更新。該網(wǎng)頁顯示商店中每種產(chǎn)品的當前數(shù)量。如果計數(shù)小于前綴閾值，它會在 Web 界面中顯示警報。

?

?

?

項目演示

?

?