YOLOX目標檢測模型的推理部署
YOLOX目標檢測模型
曠視科技開源了內部目標檢測模型-YOLOX，性能與速度全面超越YOLOv5早期版本!
https://arxiv.org/pdf/2107.08430.pdfhttps://github.com/Megvii-BaseDetection/YOLOX
ONNX格式模型轉與部署
下載YOLOX的ONNX格式模型（github上可以下載）https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo/ONNXRuntimehttps://github.com/Megvii-BaseDetection/YOLOX/releases/download/0.1.1rc0/yolox_s.onnx
下載ONNX格式模型，打開之后如圖：
官方說明ONNX格式支持OpenVINO、ONNXRUNTIME、TensorRT三種方式，而且都提供源碼，官方提供的源碼參考如下：輸入格式：1x3x640x640，默認BGR，無需歸一化。輸出格式：1x8400x85
https://github.com/Megvii-BaseDetection/YOLOX/tree/main/demo
本人就是參考上述的代碼然后一通猛改，分別封裝成三個類，完成了統一接口，公用了后處理部分的代碼，基于本人筆記本的硬件資源與軟件版本：
在三個推理平臺上測試結果如下：-GPU 3050Ti-CPU i7 11代-OS：Win10 64位-OpenVINO2021.4-ONNXRUNTIME：1.7-CPU-OpenCV4.5.4-Python3.6.5-YOLOX-TensorRT8.4.x
OpenVINO推理
TensorRT推理 - FP32
轉威FP16
TensorRT推理 - FP16
總結
之前我寫過一篇文章比較了YOLOv5最新版本在OpenVINO、ONNXRUNTIME、OpenCV DNN上的速度比較，現在加上本篇比較了YOLOX在TensorRT、OpenVINO、ONNXRUNTIME上推理部署速度比較，得到的結論就是：能不改代碼，同時支持CPU跟GPU推理是ONNXRUNTIMEOpenCV DNN毫無意外的速度最慢（CPU/GPU）CPU上速度最快的是OpenVINOGPU上速度最快的是TensorRT
原文標題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較
文章出處：【微信公眾號：OpenCV學堂】歡迎添加關注！文章轉載請注明出處。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
模型
+關注
關注
1文章
3174瀏覽量
48716 -
目標檢測
+關注
關注
0文章
205瀏覽量
15590 -
OpenCV
+關注
關注
30文章
628瀏覽量
41264
原文標題：YOLOX在OpenVINO、ONNXRUNTIME、TensorRT上面推理部署與速度比較
文章出處：【微信號：CVSCHOOL，微信公眾號：OpenCV學堂】歡迎添加關注！文章轉載請注明出處。
發布評論請先 登錄
相關推薦
高效大模型的推理綜述
大模型由于其在各種任務中的出色表現而引起了廣泛的關注。然而，大模型推理的大量計算和內存需求對其在資源受限場景的部署提出了挑戰。業內一直在努力開發旨在提高大
在樹莓派上部署YOLOv5進行動物目標檢測的完整流程
卓越的性能。本文將詳細介紹如何在性能更強的計算機上訓練YOLOv5模型，并將訓練好的模型部署到樹莓派4B上，通過樹莓派的攝像頭進行實時動物目標檢測
YOLOv6在LabVIEW中的推理部署（含源碼）
YOLOv6 是美團視覺智能部研發的一款目標檢測框架，致力于工業應用。如何使用python進行該模型的部署，官網已經介紹的很清楚了，但是對于如何在LabVIEW中實現該
手冊上新 |迅為RK3568開發板NPU例程測試
yolov5目標檢測
6.13 yolov5-seg語義分割
6.14 yolov6目標檢測
6.15 yolov7目標
發表于 10-23 14:06
手冊上新 |迅為RK3568開發板NPU例程測試
yolov5目標檢測
6.13 yolov5-seg語義分割
6.14 yolov6目標檢測
6.15 yolov7目標
發表于 08-12 11:03
LLM大模型推理加速的關鍵技術
LLM（大型語言模型）大模型推理加速是當前人工智能領域的一個研究熱點，旨在提高模型在處理復雜任務時的效率和響應速度。以下是對LLM大模型
迅為RK3568手冊上新 | RK3568開發板NPU例程測試
6.13 yolov5-seg語義分割
6.14 yolov6目標檢測
6.15 yolov7目標檢測
6.16 yolov8目標
發表于 07-12 14:44
yolox_bytetrack_osd_encode示例自帶的yolox模型效果不好是怎么回事？
yolox_bytetrack_osd_encode示例自帶的模型如下，我看示例里面yolox_group.json、yolox_infer.json、
發表于 07-05 07:51
用OpenVINO C# API在intel平臺部署YOLOv10目標檢測模型
的模型設計策略,從效率和精度兩個角度對YOLOs的各個組成部分進行了全面優化，大大降低了計算開銷，增強了性能。在本文中，我們將結合OpenVINO C# API使用最新發布的OpenVINO 2024.1部署YOLOv10目標
開發者手機 AI - 目標識別 demo
%。
Init、DeInit 為Native的初始化和去初始化實現，主要對模型進行創建、編譯以及銷毀。
Process為異步NAPI接口，主要完成目標識別的功能。實現包括前處理、推理和后處理3個部分。前處理主要
發表于 04-11 16:14
OpenVINO? C# API部署YOLOv9目標檢測和實例分割模型
YOLOv9模型是YOLO系列實時目標檢測算法中的最新版本，代表著該系列在準確性、速度和效率方面的又一次重大飛躍。
基于OpenCV DNN實現YOLOv8的模型部署與推理演示
基于OpenCV DNN實現YOLOv8推理的好處就是一套代碼就可以部署在Windows10系統、烏班圖系統、Jetson的Jetpack系統
HarmonyOS：使用MindSpore Lite引擎進行模型推理
場景介紹
MindSpore Lite 是一款 AI 引擎，它提供了面向不同硬件設備 AI 模型推理的功能，目前已經在圖像分類、目標識別、人臉識別、文字識別等應用中廣泛使用。
本文介紹
發表于 12-14 11:41
【愛芯派 Pro 開發板試用體驗】模型部署（以mobilenetV2為例）
啊抱歉，上周得了一周的流感，人才活過來。。本來還想研究下sam它是怎么部署的，但是時間好像有點來不急，就講個最簡單的efficientNet吧。但是會仔細講下使用模型部署，實際也就是推理
發表于 12-10 16:34
工商網監
評論