巖石的探測和識別在地質勘探中是非常重要的環節。那些曾經冒險探險的地質學家們不畏艱辛，深入山林探索未知的地區，收集巖石樣本進行分析，為我們更好地認識地球的內部構造作出了巨大的貢獻。然而傳統的檢測算法過分依賴于復雜的特征工程和地質學專業知識，無法滿足現代檢測的要求。近年來，基于深度學習的算法在目標檢測、圖像處理和識別等方面取得了重大突破，因此，基于深度學習理論的巖石分類檢測系統的研發是必要的。另一方面，使用傳統檢測方法也會導致檢測儀器不夠小巧和便捷，有較強的環境局限性，于是，來自湖北工程學院數學與統計學院的學生團隊，在導師張天凡的帶領下，決定設計一款適合野外作業的便攜式巖石分類檢測系統。

張天凡老師和他的學生團隊

首先，這個系統必須具備高度的便攜性和穩定性，以適應地質領域的工作性質，同時實現離線檢測功能，解決環境局限性問題，使野外作業人員在通訊信號差的地方依靠離線知識庫實現快速、準確的檢測。同時，該系統還會具有自動識別巖石種類的能力，讓非專業人員也可以使用，輔助專業人員可以更為準確地做出判定。

有要求，就有挑戰

團隊面臨的問題集中在：一，野外作業環境限制了攜帶設備的體積與重量，在電池供電的條件下更是限制了相關硬件的性能。需保證受限硬件條件下，兼顧巖石分類系統的性能與精度；二，在野外通訊條件受限的環境下，需要動態更新便攜設備中的算法、模型，以提高野外作業的靈活性與適應性。

“我們參加了幾次由NVIDIA 開發者社區舉辦的Sky Hackathon大賽后，發現 NVIDIA 提供的Jetson Nano比賽平臺很符合我們的要求，而且NVIDIA TAO工具套件可以幫助我們較快地完成軟件上的開發。”張天凡老師表示。

搭建原型機

團隊很快搭建出了原型方案。此裝置擬實現的功能與所具特色：一是便攜，采用 10.1 寸（265×170）的可觸摸電容顯示屏，方便野外作業人員攜帶和操作，減少了外設和負重；二是離線檢測，以 Jetson Nano 高性能低功耗嵌入式設備為載體實現離線檢測；三是自動識別巖石種類，在后方實驗室訓練完成的模型可由 NVIDIA TAO 工具套件動態部署到 Jetson Nano 邊緣設備，使其能夠不斷更新自動識別巖石的算法。

圖一 原型機實現功能的總體流程

為了滿足“小型-便攜”這一基本設計需求，團隊成員經過多次修改，最終確定了原型機的硬件設計，即將 NVIDIA Jetson Nano、顯示器驅動板、電源和圖像傳感器進行集成，利用 3D 打印機，制作出了原型產品。

圖二 原型機的正面

模型訓練與部署

巖石分類檢測系統基于 EffinicentV2 模型，團隊使用了 NVIDIA TAO 工具套件中的模型訓練工具來訓練 EfficientV2 模型，并使用模型轉換工具將訓練好的模型轉換為TensorRT格式，以便于在 Jetson Nano 邊緣設備上部署和加速推理。此外，團隊還使用了 NVIDIA TAO 工具套件中的數據增強工具來增強數據集，以提高模型的魯棒性和泛化能力。通過不斷調整參數和數據集，最后的推理評價為：總體正確率達到 94.36%。

模型訓練完成，部署在配置微型攝像頭的 NVIDIA Jetson Nano 上，使用可觸摸屏幕與其連接。系統通過攝像頭獲取需要分析的圖像數據，獲取后將其輸送到系統內部，用戶通過 UI 界面與巖石分類模型進行交互，數據被傳輸給巖石分類模型，模型使用圖像處理與識別技術進行識別與分析，最后以圖表形式顯示巖石分類結果。

圖三 原型機的系統啟動展示

圖四 原型機的系統分析結果展示

“NVIDIA Jetson Nano 靈活的軟件和完整的框架支持，以及較高的內存容量和統一的內存子系統，使其能夠同時運行各種不同的網絡，達到全高清分辨率，可以讓學生們在短時間內嘗試各種 AI 模型，并且完成一個 AI 原型產品，高效地鍛煉了學生們的 AI 場景落地能力。”張天凡老師評價說：“在 AI 技術不斷發展的時代背景下，能讓學生們迎頭趕上技術發展的大趨勢是很重要的！”

張天凡老師說：“對于那些正在使用 NVIDIA Jetson 系列嵌入式 AI 產品進行開發的開發者們，我想給出的建議是要善于利用 NVIDIA 提供的開發工具和 SDK，例如 NVIDIA TAO 工具套件，NVIDIADeepStream，NVIDIA NeMo等，以便根據不同的應用領域，更加高效地進行模型訓練、推理和優化。另外，還要密切關注新的 AI 技術和應用趨勢，及時掌握最新的開發技能和經驗，不斷完善和優化自己的 AI 應用方案，為實現更高效、更智能的應用奠定堅實的基礎。希望這些建議對 Jetson 嵌入式 AI 產品開發者有所幫助，能夠更好地發揮 Jetson 系列產品的潛力，開發出更為出色的 AI 應用。”

*本文中圖片均由湖北工程學院數學與統計學院張天凡老師團隊提供，如果您有任何疑問或需要使用本文中圖片，請聯系該團隊。