描述

我們試圖解決什么問題？

社區(qū)支持農(nóng)業(yè) (CSA) 計(jì)劃使用溫室或塑料大棚種植時(shí)令有機(jī)蔬菜。由于他們使用的是不使用殺蟲劑或除草劑的再生農(nóng)業(yè)技術(shù)，植物病害和提高作物質(zhì)量是一項(xiàng)巨大的挑戰(zhàn)。這些溫室通常也位于沒有電源或有線互聯(lián)網(wǎng)接入的地區(qū)。

我們想要做的是構(gòu)建一個(gè)可以輕松安裝在溫室中的解決方案，使用基于圖像的機(jī)器學(xué)習(xí)來執(zhí)行植物病害檢測。

現(xiàn)有的解決方案主要集中在室外種植的玉米、小麥、水稻和大豆等作物上，使用 UAV（無人駕駛飛行器）收集圖像。為溫室創(chuàng)建的解決方案假設(shè)主電源可用性和/或 WiFi 訪問。

我們的解決方案

該裝置安裝在溫室頂部，這樣就可以使用 Spresense 攝像頭板拍攝溫室中的植物圖像。Sony Spresense 和攝像頭傳感器使我們能夠在電池供電的微控制器上捕獲圖像并執(zhí)行嵌入式機(jī)器學(xué)習(xí) (ML)，而無需將圖像發(fā)送到云端進(jìn)行處理。相反，我們可以使用帶有 LTE-M 或 NB-IoT 的 Spresense LTE 擴(kuò)展板來發(fā)送 ML 算法的觀察結(jié)果。結(jié)果和照片也保存到機(jī)載 SD 卡中。

該項(xiàng)目使用 Edge Impulse 在新植物病害數(shù)據(jù)集中近 23,000（！） 幅番茄植株圖像上訓(xùn)練和驗(yàn)證分類器。該分類器可以檢測番茄植株上的 9 種不同植物病害。

設(shè)置固件

該固件基于Edge Impulse 提供的4G LTE Con??nected Smart Wildlife Camera 。

• 創(chuàng)建Edge Impulse帳戶
• 安裝Arduino IDE
• 安裝Spresense Arduino 庫
• 在Tools->Board選擇Spresense設(shè)備中，然后在Tools->Memory選擇下1536(kB)。
• 從 GitHub 克隆我們的greenhouse-ai倉庫
• 從 Edge Impulse，克隆我們的植物病害庫
• 在克隆的 Edge Impulse 項(xiàng)目中，選擇Arduino Library并單擊build。按照說明將此庫添加到您的 Arduino IDE
• 在 Arduino IDE 中，單擊 File->Open，然后導(dǎo)航到您之前克隆的greenhouse-ai存儲庫文件夾，并打開plant-sketch.ino該文件夾中的文件firmware。
• 構(gòu)建項(xiàng)目以驗(yàn)證它是否正確編譯
• 在該4g_camera.ino文件中，使用您的 SIM 卡詳細(xì)信息配置 APN。
• 還要4g_camera.ino,指定 Web 服務(wù)器的詳細(xì)信息。
• 現(xiàn)在，重建并上傳草圖。

設(shè)置索尼 Spresense

• 將 2 針 JST-PH 連接器焊接到主板
• 記得在主板上的 IC4 上安裝遮光密封
• 將迷你墊片插入 LTE 擴(kuò)展板并連接主板，確保板對板連接器正確就位
• 將攝像頭模塊連接到主板
• 將 SD 卡插入 SD 卡槽
• 將 IoT SIM 卡插入 SIM 插槽
• 安裝電池
• 將 Sony Spresense 推入外殼底座，電池位于擴(kuò)展板下方
• 將攝像頭模塊推入外殼蓋，然后將蓋子推入外殼底座
• 使用 25 毫米（1 英寸）M5 螺栓和螺母將夾具連接到外殼底座
• 使用 Arduino 在 Spresense 上編程固件

打印 Spresense 并將其安裝到外殼中

外殼的設(shè)計(jì)使所有東西都能壓合，不需要螺絲。需要使用 25 毫米（1 英寸）M5 螺栓和螺母將夾具連接到外殼。如果需要，可以在 OpenSCAD 中編輯設(shè)計(jì)。

使用以下設(shè)置在 Prusa i3 MK3 打印機(jī)上打印：

• 燈絲：PETG
• 0.20 毫米速度
• 填充物：20%
• 支持：無

打印外殼大約需要 2 小時(shí)，打印夾子需要 30 分鐘。

將 Spresense 壓入外殼底座，電池位于底部

?

將攝像頭模塊壓入外殼蓋

?

將外殼蓋壓入外殼底座

?

使用 1 英寸（25 毫米）M5 螺栓和螺母將夾具連接到外殼

?

設(shè)置網(wǎng)絡(luò)服務(wù)器

當(dāng)前固件使用 HTTP POST 請求將分類結(jié)果作為 JSON 發(fā)送，格式如下：

{
    "date": "2022/07/15",
    "time": "16:16:19",
    "observation: "tomato-healthy_",
    "battery": 4030
}

我編寫了一個(gè)小的 RESTful API（主要基于Rob Kendal的教程）獲取 JSON 對象并將其存儲為 JSON 文件，這樣您就可以在基本的 Web 服務(wù)器上運(yùn)行它而無需數(shù)據(jù)庫。

我使用 DigitalOcean 來托管我的服務(wù)器，但您可以將它放在任何支持 Node.js 的地方。按照 DigitalOcean 上的步驟在 Ubuntu VPS 上設(shè)置 Node.js 生產(chǎn)環(huán)境，并在您的服務(wù)器上克隆https://github.com/gniezen/greenhouse-ai存儲庫。運(yùn)行npm install以安裝所有依賴項(xiàng)，并npm start檢查它是否有效。如果它在工作，請按Ctrl-C停止服務(wù)器，然后使用 PM2 啟動它，而不是運(yùn)行pm2 start server.js.

真實(shí)世界的用例

我在Summit Good安裝了這個(gè)裝置，這是一個(gè)當(dāng)?shù)氐?CSA 計(jì)劃，在城市的郊區(qū)有一個(gè)遠(yuǎn)程溫室/塑料隧道。

多隧道中成排的番茄植株顯示了該單元的位置

?

該裝置通過金屬橫桿上的夾子安裝

?

該裝置具有以下啟動順序：

• 初始化相機(jī)
• 安裝SD卡（保存觀察照片）
• 啟動 GPS 模塊（以獲取準(zhǔn)確的觀測時(shí)間戳）
• 連接LTE/NB-IoT網(wǎng)絡(luò)（發(fā)送觀測結(jié)果）
• 啟動相機(jī)

顯示程序進(jìn)程的單元串行輸出

?

當(dāng) ML 算法檢測到植物時(shí)，當(dāng)檢測到植物時(shí)，它會在設(shè)備上分類為以下之一：

• 健康植物
• 細(xì)菌斑
• 早疫病
• 晚疫病
• 葉霉菌
• 葉斑病
• 花葉病毒
• 葉螨
• 目標(biāo)點(diǎn)
• 黃曲葉病毒

結(jié)果與本地日期和時(shí)間以及電池電量一起被轉(zhuǎn)換為 JSON 格式。然后將觀察結(jié)果發(fā)送到網(wǎng)絡(luò)服務(wù)器，并以表格形式顯示如下：

網(wǎng)站上的觀察結(jié)果

?

只有當(dāng)設(shè)備通過 GPS 獲得準(zhǔn)確的時(shí)間戳?xí)r，結(jié)果才會被保存，并且當(dāng)蜂窩網(wǎng)絡(luò)不可用時(shí)，它仍會將結(jié)果保存到 SD 卡中。發(fā)送結(jié)果后，設(shè)備將關(guān)閉蜂窩和 GPS 模塊并進(jìn)入深度睡眠狀態(tài) 3 小時(shí)以節(jié)省電池電量。

結(jié)論

在這個(gè)項(xiàng)目中，我們實(shí)施了一個(gè)電池供電的解決方案，用于在沒有接入有線互聯(lián)網(wǎng)的情況下遙感溫室中的番茄植物病害。ML 分類發(fā)生在設(shè)備上，只有觀察結(jié)果通過 LPWAN 網(wǎng)絡(luò)發(fā)送到 Web 服務(wù)器。

這個(gè)項(xiàng)目可以很容易地修改以識別其他類型的植物病害，或者可以使用多個(gè)單元來覆蓋更大的區(qū)域。該裝置還可以安裝在育苗盤上方，使用Edge Impulse 上的新 FOMO 算法來嘗試檢測發(fā)芽的幼苗數(shù)量。另一個(gè)想法是嘗試檢測育苗盤是濕的還是干的并需要澆水。

我期待看到您如何修改和構(gòu)建此設(shè)計(jì)！