機器視覺系統依賴于機器學習(machine learn)和深度學習(deep learn),尤其是深度學習的重要分支“卷積神經網絡”在圖像識別領域的應用,使機器視覺能夠從原始像素數據中直接學習特征并準確判斷。此外,AI大模型近兩年受到關注,也可能被引入機器視覺領域,在跨模態理解和推理等方面展現出更強能力。
AI算法的復雜程度越來越高,機器視覺系統設計面臨挑戰,然而,從各種開發資源來看,機器視覺系統開發不會更難,或許會更加容易。
標準模塊、系統級模塊(SOM)易用性提升
首先是各種標準化的機器視覺模塊(如智能相機、視覺傳感器、3D相機)集成了必要的成像元件、圖像處理器和通信接口,用戶可以直接通過軟件配置或二次開發實現所需功能,減少底層硬件設計和集成的工作量。
其次,系統模塊(System on Module,SOM)易用性提升,可用于加速機器視覺項目開發。SOM相當于一個高度集成的小型計算機主板的核心部分,包括CPU、GPU、RAM和一些基本電路,可以直接將SOM插入載板,進行功能擴展、連接外部設備,快速構建功能完備的嵌入式系統或產品原型。
下面介紹幾款可用于機器視覺系統開發的SOM:
1. NVIDIA Jetson
NVIDIA Jetson利用AI為機器人開發、智能視頻分析、機器視覺和自主機器的未來提供動力支持。NVIDIA Jetson系列模組是緊湊而高性能的計算機,輔以NVIDIA JetPack? SDK,可加速軟件開發。在邊緣生成式AI、NVIDIA Metropolis和Isaac平臺的支持下,Jetson提供可擴展的軟件、現代AI堆棧、靈活的微服務和API、生產就緒型ROS軟件包以及觸手可及的特定于應用程序的AI工作流。Jetson還與其他NVIDIA平臺無縫集成,共享AI軟件和云原生工作流。此外,它還擁有構建軟件定義自主機器和突破性邊緣AI解決方案所需的節能性能。每個NVIDIA Jetson都是一個完整的SOM,包括GPU、CPU、內存、電源管理和高速接口等。
圖注:NVIDIA Jetson系列(圖源:NVIDIA)
2. Xilinx Kria K26 SOM
Kria K26 SOM為滿足當前和未來市場對視覺AI和視頻分析的需求而設計,搭載基于Zynq? UltraScale+? MPSoC架構的自適應SoC以及支持該SoC所需的所有基本組件,比如存儲器和電源等。Kria K26 SOM搭配一款簡單的專為最終用戶設計的載卡,該卡集成了用戶終端系統具體使用的連接組件和附加組件,量產部署的定制也簡便易行。
圖注:Kria K26 SOM與NVIDIA Jetson Nano和NVIDIA Jetson TX2特性對比(圖源:AMD)
3. 瑞薩電子SOM解決方案
從視覺的采集、處理、分析和理解中生成數字元數據需要具有AI的高性能MPU。瑞薩電子的SOM解決方案使開發人員能夠管理這些關鍵決策流程。系統優勢:高性能雙核Arm? Cortex?-A53 MPU;專用高速硬件AI推理(DRP-AI);符合SMARC 2.1標準的設計。
圖注:瑞薩電子機器視覺SOM結構(圖源:瑞薩電子)
4. 基于瑞芯微RK3588的SOM
RK3588 S15是一款專門面向AI機器視覺應用的SOM,支持安卓、Linux和鴻蒙OS,體積小巧,方便用于便攜式設備開發,如UAV、智能頭盔、工業機器人、市政機器人等產品開發。RK3588采用8nm制程的8核心CPU,集成G61GPU、大算力NPU和8K VPU,可為機器視覺應用提供強力支撐。S15核心板已將RK3588的全部功能接口引出,豐富的接口設計也有助于快速落地相關產品。
除了瑞芯微之外,基于晶晨、全志科技、地平線、寒武紀、海思處理器芯片的SOM也有不少,這些產品通常是下游合作方推出的針對機器視覺應用的定制化產品,這里不做贅述。
圖注:面向AI機器視覺應用的核心板SOM RK3588 S15(圖源:ScenSmart)
單板計算機、開源軟件庫普及
單板計算機(Single Board Computer,SBC)與開源軟件庫結合,也可以加速機器視覺系統的開發進程。
單板計算機提供高性價比硬件解決方案,集成了處理器、內存、輸入輸出接口以及必要的多媒體處理能力,能直接運行復雜圖像處理和深度學習算法。快速使用SBC搭建原型系統進行實驗和驗證,降低機器視覺項目的啟動門檻。SBC另一個優勢是,龐大的用戶社區和技術支持,共享硬件驅動程序、操作系統鏡像、應用程序實例及教程,為機器視覺應用的開發提供了便利。
常見的SBC品牌比如飛騰派、樹莓派、Arduino、BeagleBone、賽昉科技的昉·星光系列RISC-V架構單板計算機、Firefly(螢火蟲)等。
圖注:飛騰派與樹莓派的特性(圖源:中電港公眾號)
此外,諸如OpenCV、TensorFlow、PyTorch等開源機器視覺和深度學習框架的出現,使得開發者無需從零開始構建復雜的圖像處理算法,這些工具包提供了豐富的預訓練模型、API函數以及易于使用的編程接口,極大簡化視覺應用的開發流程。
將單板計算機與開源軟件庫結合,開發者可以在一個相對較低的成本下,迅速構建和迭代機器視覺解決方案,實現從原型驗證到產品化部署的快速轉換。以飛騰派和OpenCV開發機器視覺為例,飛騰派本身采用飛騰自主研發的高能效異構多核處理器技術,具有模塊化、易上手、全開源、低成本的特點,可通過OpenCV在飛騰派板子的移植編譯與交叉編譯,快速啟動機器視覺的開發。關于飛騰派機器視覺的開發代碼、開發流程等,可以在芯查查社區查詢。
云服務提升開發效率
云計算服務提供商也推出了包含機器視覺功能的服務,允許用戶通過API調用進行圖像識別和分析,無需在本地部署復雜的基礎設施。云服務的基本作用是數據存儲與管理、計算資源擴展、模型訓練平臺、服務化部署等。主要的云服務包括:阿里云視覺智能開放平臺,提供圖像識別、物體檢測、內容審核等多種機器視覺API服務。騰訊云計算機視覺服務提供多種視覺分析服務,包括圖像識別、人臉識別、文字識別、內容審核等。百度大腦視覺技術提供了基于百度大腦的計算機視覺技術,如通用物體及場景識別、圖像搜索、人體分析等服務。華為云視覺智能服務推出多個視覺相關的云服務,例如圖像識別、視頻分析、OCR等,適用于工業質檢、安防監控等多個領域。
小結
隨著系統模組SOM、單板計算機SBC的發展,以及各類開源軟件庫的廣泛應用,機器視覺系統的開發難度得到了顯著降低,更多的開發者和企業能夠在有限的技術資源下快速進入這一領域,推動了機器視覺技術在各行各業的普及和創新應用。
審核編輯 黃宇
-
NVIDIA
+關注
關注
14文章
4949瀏覽量
102825 -
算法
+關注
關注
23文章
4601瀏覽量
92671 -
機器視覺
+關注
關注
161文章
4348瀏覽量
120133 -
AI
+關注
關注
87文章
30239瀏覽量
268474 -
SOM
+關注
關注
0文章
58瀏覽量
15694
發布評論請先 登錄
相關推薦
評論