方案介紹

本方案可使用經過培訓的邊緣設備警告駕駛員輪胎壓力過低，該設備可以查看汽車輪胎是滿還是漏氣。

該項目演示了如何構建一個電池供電的邊緣設備，該設備使用機器視覺測量汽車輪胎的壓力水平，并在輪胎不安全行駛時提醒用戶。

當汽車在設備前行駛時，其輪胎的圖像會被捕獲并分類為“滿載”或“爆胎”。設備頂部的指示燈會改變顏色以通知用戶結果。任何顯示“紅色”的輪胎都處于非常低的壓力下，應在繼續行駛之前將其固定。

Edge Impluse 用于設計和訓練圖像分類模型，該模型可準確區分正常壓力（滿）和低壓（扁平）級別的輪胎圖像。該模型部署到設備內的 OpenMV Cam 并在其上運行。

該原型作為概念證明，可以被任何定期檢查車輛的行業采用，以減少檢查時間并提高安全性。

背景

車輛安全對任何在道路上行駛的人來說都是最重要的。司機每天都依靠妥善保養的汽車和卡車將他們從一個地方送到另一個地方而不會受到傷害。

多個行業的任務是確保對大量車輛進行例行審查，確保道路安全：

卡車稱重站：由 DOT 運營，這些站驗證高速公路上的卡車是否符合安全規定。檢查員對卡車進行物理檢查，以確保它們符合要求的標準。
自主轎車艦隊：自主汽車的大型船隊將在集中倉庫進行維修。定期維護可確保汽車系統準確校準并按預期運行。
租車歸還：租車公司需要確保汽車處于安全工作狀態，然后再借給下一位客戶。在汽車再次可用之前，必須進行多點安全檢查。
雖然必須涵蓋整個檢查清單才能驗證車輛的安全性，但一項至關重要的檢查是輪胎壓力。

在車輛的每個輪胎中保持正確的氣壓對于安全駕駛至關重要。充氣不足或漏氣的輪胎會影響車輛的整體操控性，使其響應速度變慢，停車速度變慢，并可能導致道路上非常危險的輪胎爆胎。

汽車和卡車通常配備胎壓監測系統 (TPMS)，通過儀表板警告燈提醒駕駛員胎壓低。

然而，TPMS 的局限性在于它的警告只有能夠進入車輛內部的檢查員才能看到，并且它依賴于輪胎內的單個傳感器來捕獲如此重要的安全測量。

在許多車輛都是手動檢查的環境中，例如上面列出的那些，需要一種自動化的車外方式來準確測量輪胎壓力。

有了這個，檢查員將不再需要進入車輛，而是遠程獲取準確的讀數。這樣的系統將縮短檢查時間，同時提供額外的安全驗證。

該項目旨在通過原型設備解決這個問題，該設備使用機器視覺從車輛外部快速確定輪胎壓力，并將結果通知檢查員。

如何運作

該設備由一個攝像頭和電子設備組成，安裝在一個可調節的支架上，可以部署在汽車駛過的任何地方，以測量輪胎壓力水平。

OpenMV Cam H7 Plus 微控制器板提供設備的計算能力和機器視覺功能。

OpenMV Cam 包括一個板載攝像頭、處理器和存儲。Python 腳本可用于以編程方式捕獲、保存和處理圖像，以及控制板的 I/O 引腳。該板適合設備的 3D 打印外殼，其攝像頭從正面的孔中伸出。

RGB LED 使用跨接線連接到 OpenMV Cam 的 I/O 引腳，并穿過外殼頂部的孔。電源由連接的 LiPo 電池提供給電路板。

背板將所有電子設備和電池固定在外殼內，然后連接到 3D 打印支架中。

組裝好的設備放置在目標汽車所在位置的一側，瞄準時攝像機的視野將覆蓋單個輪胎的位置，并在其周圍增加 6-12 英寸的緩沖區。

距離汽車門側大約 3 英尺，電子設備外殼略微向上傾斜。

設備通電后，加載到 OpenMV Cam 的 Python 腳本會自動開始執行。

該腳本連續運行，循環執行以下處理步驟：

• 捕獲圖像：使用板載攝像頭捕獲 240x240 像素灰度圖像并存儲在凸輪的閃存中。
• 對圖像進行分類：圖像通過經過訓練的 TensorFlow 圖像分類模型進行處理，該模型將其分類為“完整”、“平坦”或“無輪胎”。
• 通知用戶：RGB LED 亮綠色、紅色或黃色，具體取決于確定圖像的目標類別。

用于對每個圖像進行分類的 TensorFlow 模型已經在三個類別的示例圖像的標記數據集上進行了訓練：

正確充氣輪胎的“完整”圖像；未填充輪胎的“扁平”圖像；和非輪胎物體的“無輪胎”圖像，如汽車側面或空車庫。

有關創建使用的標記數據集的更多詳細信息，請參閱下面的構建說明部分。

通過在訓練過程中反復接觸數百張示例圖像，該模型學習了可以使用哪些圖像形狀和特征來準確區分三類。

OpenMV Cam 捕獲的圖像由經過訓練的模型處理，該模型根據輸入圖像與模型學習的形狀和特征鑒別器的匹配程度輸出每個類別的預測分數。

無論哪個類別——“完整”、“平坦”或“無輪胎”——具有最高的預測分數，都被認為是該圖像的單一分類。

通知燈被編程為根據圖像的分類改變其顏色 - 為“綠色”、“紅色”或“黃色”。

處理工作流以每秒 5 幀的速度運行，這足以為緩慢移動的汽車提供實時結果。

從最初在設備視野之外的汽車輪胎開始，捕獲的圖像被正確分類為“無輪胎”，指示燈顯示黃色。

當汽車在設備前面行駛并且其輪胎進入相機的視野時，根據輪胎的壓力水平將捕獲的圖像分類為“滿”或“漏氣”，并且指示燈相應地變為綠色或紅色。

用戶或檢查員只需在汽車駛過時監控通知燈的顏色即可驗證其輪胎的狀態。

如果當輪胎穿過設備時通知燈變為綠色，則檢查員知道輪胎已正確充氣并且可以安全行駛。紅色通知燈表示輪胎氣壓低，需要在繼續行駛前加滿油。

構建說明
以下是有關如何構建、原型設計和部署漏氣輪胎分類器設備的端到端說明。

從設備硬件的初始設置開始此項目。接下來，使用 OpenMV IDE 創建來自三個目標類別的標記圖像數據集 - “full”、“flat”和“no-tire”。

然后使用 Edge Impulse 來設計和訓練使用數據集的圖像分類模型。訓練好的模型被導出到 OpenMV Cam 并進行測試。

通過將 RGB LED 連接到微控制器并更新 Python 代碼以使其用作通知燈來完成項目。

初始硬件設置
如果設備使用的圖像分類模型在設備完全組裝并放置在地面上時，在與設備相同的視角下捕獲的示例圖像上進行訓練，則該模型將表現最佳。

首先將 Open MV Cam H7 放置在用于最終部署的同一個 3D 打印外殼和支架中，確保在接下來的數據集創建步驟中正確定位 Open MV Cam H7。

這種初始設置不需要 LED 或電池。

第 1 步：PrintHousingandStand

項目附件中提供了外殼和支架的模型文件 (.stl) 。3D 打印每個文件以創建系統的三個部分 - 外殼、背板和支架。

可能需要打磨以將外殼的臂裝入支架的孔中。背板壓力適合外殼背面以封閉電子設備。

第 2 步：安裝 OpenMV Cam

OpenMV Cam H7 Plus 安裝在外殼內，其攝像頭從正面的孔中伸出。

Cam H7 壓力配合到它的位置，它的銷可以通過將它們稍微向外彎曲朝向外殼壁來提供更緊密的配合。

外殼底部的孔可用于訪問 Cam H7 的 USB 插座。

創建帶標簽的數據集

需要有標記圖像的自定義數據集才能正確訓練設備將采用的圖像分類模型。

目的是讓模型準確地將圖像區分為三個類別之一——“完整”、“平坦”或“無輪胎”——這可以通過在訓練期間將模型暴露給每個類別的許多示例圖像來實現。

訓練依賴于示例圖像的數據集，每個圖像都與它們所代表的類別的標簽配對。每個類都定義為包含特定內容：

• 滿：圖像幾乎集中在一個正確填充的輪胎上 (~45 psi)。整個輪胎必須是可見的并填滿框架的大部分。
• 扁平：圖像幾乎集中在未填充的單個輪胎 (~10 psi) 上。整個輪胎必須是可見的并填滿框架的大部分。
• 無輪胎：非輪胎物體的圖像，如汽車側面或空車庫。部分輪胎的圖像包含在該類中。

這些定義支持設備的預期應用。當汽車駛過設備時，車庫背景、汽車面板和部分輪胎的圖像應歸類為“無輪胎”。只有當汽車的輪胎完全移動到相機的框架中時，才應該對“完整”和“平坦”類別進行分類。

通過捕獲適合每個類定義的各種圖像來構建數據集。圖像多樣性確保模型暴露于同一類圖像之間可能存在的許多差異。

OpenMV IDE 和連接的 OpenMV Cam H7 Plus 用于收集和組織數據集的圖像。

這些說明假設您可以使用車輛、可以駕駛的小區域，并且能夠改變車輛的輪胎壓力。

步驟 1：設置捕獲區域

通過在目標車輛所在的區域設置筆記本電腦和初始硬件來開始該過程。

在整個捕獲過程中，車輛應該能夠稍微向前或向后移動幾英尺。

將初始硬件設置放置在距車輛側面約 3 英尺的位置，以匹配設備在其最終設置中的部署方式。通過 USB 電纜將設備中的 Cam H7 連接到筆記本電腦。

步驟 2：初始化新數據集

在筆記本電腦上打開 OpenMV IDE。從“工具”菜單中，單擊“數據集編輯器”，然后單擊“新建數據集”。

出現提示時，創建一個名為的新文件夾tire-dataset并選擇它。該文件夾將包含所有數據集圖像和相關文件。該文件夾在 IDE 的數據集編輯器面板中打開。

第 3 步：編輯捕獲腳本

一個dataset_capture_script.pyPython的文件數據集文件夾中自動創建和IDE編輯器窗口中打開。此腳本用于在捕獲圖像之前初始化 Cam H7 的相機設置。

為此數據集收集的圖像應以正方形尺寸 (240x240 像素) 和灰度顏色捕獲。這兩項設置都將確保圖像與模型預期的輸入格式相匹配。

通過將sensor.RGB565值更新為sensor.GRAYSCALE并添加定義圖像大小的行來編輯腳本中的相機配置代碼塊sensor.set_windowing((240, 240))。

更新后的代碼塊應如下所示：

通過 USB 線將 Cam H7 連接到筆記本電腦，單擊 IDE 左下角的“連接”按鈕。

單擊左下角的“開始”按鈕開始執行data_capture_script.py腳本。運行后，可以在 IDE 的“幀緩沖”面板中查看攝像機所見的實時預覽窗口，并應用配置設置。

第 4 步：捕獲圖像

從車輛停放和輪胎完全充氣 (~45 PSI) 開始。使用 IDE 中的實時預覽窗口定位設備，使相機以單個輪胎為中心，如上面的“完整”類所定義。

在 IDE 的數據集編輯器面板中，單擊“新建類文件夾”按鈕，并在出現提示時輸入類名“完整”。這會full.class在文件夾中創建一個新的子tire-dataset文件夾來存儲此類的圖像。

單擊“數據集編輯器”菜單中的full.class文件夾以突出顯示它。為數據集捕獲的任何新圖像都放置在當前突出顯示的任何類子文件夾中。

相機就位后，單擊“捕獲數據”按鈕開始收集“完整”類圖像。每次單擊都會捕獲并保存 JPEG 圖像。在每次點擊之間，稍微改變相機的位置和角度，以在連續圖像之間產生微小的差異。

通過定期向前或向后移動車輛幾英尺、重新定位相機并繼續收集過程，收集不同輪胎旋轉時的“完整”圖像。不同的旋轉確保模型不會學習特定的輪轂蓋旋轉角度作為類特征的一部分。

重復此過程，直到收集到一整套“完整”圖像。該項目中使用的圖像總數為每班 300 張。

接下來，讓車輛輪胎中的空氣排出，直到它們被認為是扁平的 (~10 PSI)。創建一個新的“平面”類并在“數據集編輯器”菜單中突出顯示flat.class子文件夾。

重復收集過程，這次使用滿足“平面”類定義的圖像。在此過程中改變距離、角度和輪胎旋轉，并繼續直到收集到整套 300 張“平坦”圖像。

最后，創建一個新的“no-tire”類并使用與上述類似的過程將圖像添加到no-tire.class文件夾中。這些圖像應符合“無輪胎”類定義，包括無輪胎物體、汽車側面和部分輪胎的圖像。繼續直到收集到整套 300 個“無輪胎”圖像。

完成后，tire-dataset文件夾應包括full.class、flat.class和no-tire.class子文件夾，每個文件夾包含 300 個示例圖像，總共 900 個圖像。一個labels.txt文件也被生成，其中包括三個類名。

?