描述

作為 Edge Impulse 專家網(wǎng)絡(luò)的一部分，Seeed Studio 慷慨地提供了一些reComputer Jetson-10-1-H0來(lái)開發(fā)示例項(xiàng)目并按其步調(diào)運(yùn)行硬件。

Seeed reComputer 使用 Jetson Nano 4GB 和 16GB eMMC（稍后會(huì)詳細(xì)介紹），外殼非常光滑。它已經(jīng)加載了 Jetpack 4.6 和 Ubuntu 18.04 LTS，基本上可以開箱即用。

對(duì)于我的項(xiàng)目，我自愿制作靜電放電 (ESD) 風(fēng)險(xiǎn)標(biāo)識(shí)符，以防止在處理電子產(chǎn)品時(shí)發(fā)生潛在的 ESD 故障。ESD 會(huì)導(dǎo)致難以識(shí)別的電子設(shè)備損壞，并可能導(dǎo)致未來(lái)幾個(gè)月出現(xiàn)故障，從而導(dǎo)致組織需要昂貴的保修維修或召回費(fèi)用。

我的項(xiàng)目的前提是在電子裝配工的工作臺(tái)上安裝一個(gè)攝像頭。攝像頭將連接到 Seeed Studio reComputer（通過(guò) CSI 端口或通過(guò) RTSP 流），該計(jì)算機(jī)將運(yùn)行Edge Impulse 的 FOMO對(duì)象檢測(cè)架構(gòu)，以識(shí)別操作員是否佩戴腕帶，并識(shí)別任何異物（即戒指或手表）操作員在處理敏感電子設(shè)備時(shí)不應(yīng)佩戴。

需要標(biāo)記訓(xùn)練數(shù)據(jù)（對(duì)象檢測(cè)見“Labeling queue”標(biāo)簽

?

完成標(biāo)記后，我得到了每個(gè)類別的大約 100 個(gè)樣本。對(duì)于更強(qiáng)大的模型，我當(dāng)然會(huì)推薦更多，但對(duì)于概念證明，這個(gè)數(shù)量非常有效。注意：我確實(shí)看到了區(qū)分手表和腕帶的一些挑戰(zhàn)，因?yàn)樗鼈兛雌饋?lái)非常相似。更多的數(shù)據(jù)和多樣化的樣本將有助于消除這一挑戰(zhàn)。有時(shí)我會(huì)在測(cè)試期間看到腕帶被歸類為手表。

戒指明顯不同，但手表和腕帶彼此靠得更近。

?

由于我的沖動(dòng)，我選擇了 160x160 的圖像并使用了 Edge Impulse 的 FOMO。這對(duì)我的左手和右手有很好的視野。然后我可以在分類器中運(yùn)行這兩個(gè)圖像。如果我只對(duì)一張圖像進(jìn)行分類，由于 FOMO 需要等維圖像，圖像會(huì)被擠壓并且無(wú)法看到雙手。

調(diào)試圖像顯示如何將一個(gè)幀拆分為兩個(gè)圖像以進(jìn)行推理。

?

我第一次嘗試使用 FOMO 創(chuàng)建模型時(shí)，結(jié)果很糟糕。原來(lái)我沒(méi)有足夠的數(shù)據(jù)。我怎么強(qiáng)調(diào)都不為過(guò)，更有效的數(shù)據(jù)對(duì)模型的準(zhǔn)確性很重要。一旦我添加了更多數(shù)據(jù)，模型的 F1 分?jǐn)?shù)就會(huì)提高。

每個(gè)類別只有 100 個(gè)樣本，該模型實(shí)際上表現(xiàn)相當(dāng)不錯(cuò)

?

對(duì)結(jié)果感到滿意后，我將模型部署為 Linux 二進(jìn)制文件（.eim 文件）。我的 Edge Impulse 項(xiàng)目的公共版本可以在這里找到。

將模型保存到 Jetson reComputer 后，我便開始編碼。這兩種選擇對(duì)我來(lái)說(shuō)都很有效。我在讓相機(jī)驅(qū)動(dòng)程序工作時(shí)遇到了一些小問(wèn)題（nanocamera 最終為我工作）但是一旦我完成了這些，它真的很有趣而且簡(jiǎn)單。

這個(gè)項(xiàng)目很有趣。我已經(jīng)使用 Jetson Nano 一年多了，如果你能解決驅(qū)動(dòng)程序和依賴性問(wèn)題（它們似乎在我使用 Nano 的每個(gè)項(xiàng)目中都會(huì)出現(xiàn)），它真的很強(qiáng)大而且使用起來(lái)很有趣。我什至還沒(méi)有使用過(guò) DeepStream 或任何 NVIDIA 工具，所以我期待有一天能嘗試一下。

內(nèi)存限制很不幸，占用了我一些時(shí)間，我希望將來(lái)能解決這個(gè)問(wèn)題。我什至不得不在 Nano 上進(jìn)行開發(fā)，因?yàn)槲覜](méi)有足夠的空間來(lái)安裝 VS Code（我選擇的 IDE）。無(wú)論如何都不是一個(gè)阻礙，這仍然是一個(gè)非常有能力的硬件。

我認(rèn)為這個(gè)項(xiàng)目將來(lái)可以進(jìn)一步擴(kuò)展。如果存在 ESD 風(fēng)險(xiǎn)，您可以添加一個(gè) Twilio 界面來(lái)向主管發(fā)送短信。可以對(duì)不同類型的物體進(jìn)行分類（也許確保穿著 ESD 工作服？）而我更興奮的是在Edge Impulse Imagine 2022上宣布的FOMO-AD （AD 代表異常檢測(cè)）。它要到 2023 年才能準(zhǔn)備就緒，但我認(rèn)為有很多機(jī)會(huì)使用該技術(shù)來(lái)識(shí)別圖像中的正確和錯(cuò)誤。我很高興能測(cè)試它的功能！

?