描述

介紹

Xilinx Model Zoo 包含許多預構建的卷積神經網絡模型。

該項目利用了其中幾個模型，以實現用于車牌識別的多推理應用程序。

• 車輛檢測：ssd_traffic
• 車牌檢測：platedetect
• 牌照號碼識別：platenum

車牌識別 - 3 推理管道

?

讓我們開始吧 ！

第 1 步 - 創建 SD 卡

為以下 Avnet 平臺提供了預構建的 Vitis-AI 1.3 SD 卡映像：

• u96v2_sbc_base : Ultra96-V2 開發板
• uz7ev_evcc_base：UltraZed-EV SOM (7EV) + FMC 載卡
• uz3eg_iocc_base：UltraZed-EG SOM (3EG) + IO 載卡

可在此處找到預構建 SD 卡映像的下載鏈接：

• 適用于 Avnet Vitis 平臺的 Vitis-AI 1.3 流程：https ://avnet.me/vitis-ai-1.3-project

下載并解壓后，.img 文件可以編程到 16GB 微型 SD 卡。

0.解壓壓縮包得到.img文件

1. 將開發板特定的 SD 卡映像編程到 16GB（或更大）的 micro SD 卡

一個。在 Windows 機器上，使用 Balena Etcher 或 Win32DiskImager（免費開源軟件）

灣。在 linux 機器上，使用 Balena Etcher 或使用 dd 實用程序

$ sudo dd bs=4M if=Avnet-{platform}-Vitis-AI-1-3-{date}.img of=/dev/sd{X} status=progress conv=fsync

其中 {X} 是一個小寫字母，用于指定 SD 卡的設備。您可以使用“df -h”來確定您的 SD 卡對應的設備。

第 2 步 - 克隆源代碼存儲庫

本項目中使用的源代碼可以從以下存儲庫中獲取：

• https://github.com/AlbertaBeef/vitis_??ai_cpp_examples

如果您有活動的互聯網連接，您可以簡單地將存儲庫克隆到嵌入式平臺的根目錄：

$ cd ~
$ git clone https://github.com/AlbertaBeef/vitis_ai_cpp_examples

第 3 步 - 板檢測示例概述

為了實現車牌識別示例，我們修改了一個現有示例platedetect ，該示例可以在以下目錄中找到：

~/Vitis-AI/demo/Vitis-AI-Library/samples/platedetect

如果我們查看 test_jpeg_platedetect.cpp 源代碼，我們會發現它非常小：

int main(int argc, char *argv[]) {
string model = argv[1];
return vitis::ai::main_for_jpeg_demo(
    argc, argv,
    [model] {
        return vitis::ai::PlateDetect::create(model);
    },
    process_result, 2);
}

此代碼的可視化表示如下圖所示：

?

我們可以看到 main 函數使用了一個通用的 main_for_jpeg_demo() 函數，并向它傳遞了一個 PlateDetect 類的實例，該類提供了 create() 和 run() 方法，以及一個 process_result() 函數。

該示例可以使用以下命令運行：

1. 啟動后，啟動 dpu_sw_optimize.sh 腳本，該腳本將優化 DDR 內存的 QoS 配置

$ cd ~/dpu_sw_optimize/zynqmp
$ source ./zynqmp_dpu_optimize.sh

2. 禁用 dmesg 詳細輸出：

$ dmesg -D

3.使用以下參數啟動platedetect應用程序：

• 為第一個參數指定“sample_platedetect.jpg”

$ cd ~/Vitis-AI/demo/Vitis-AI-Library/samples/platedetect
$ ./test_jpeg_platedetect sample_platedetect.jpg

應用程序將在以下文件中生成輸出：

• sample_platedetect_result.jpg

在這一點上可以進行兩個觀察：

• 車牌檢測模型假設它處理的圖像中有一個車牌（在此模型之前需要額外的車輛檢測步驟）
• platedetect 模型只提供車牌的位置，而不是它的號碼（這個模型之后需要一個額外的號碼識別步驟）

第 4 步 - 創建車牌識別應用程序

我們可以使用這個通用的 main_for_video_demo()，以及一個定義我們修改后的用例的自定義類，如下圖所示：

?

對于車牌識別示例，使用三個模型來實現 3-inference 管道：

• 車輛檢測：ssd_traffic
• 車牌檢測：platedetect
• 牌照號碼識別：platenum

車牌識別 - 3 推理管道

?

下圖說明了此示例的修改代碼。

?

源代碼可以在以下位置找到：

~/vitis_ai_cpp_examples/platerecognition/test_jpeg_platerecognition.cpp
~/vitis_ai_cpp_examples/platerecognition/test_video_platerecognition.cpp

1. 構建車牌識別應用

$ cd ~/vitis_ai_cpp_examples/platerecognition
$ ./build.sh

2. 在圖像上啟動車牌識別應用程序

$ cp ~/Vitis-AI/demo/Vitis-AI-Library/samples/platedetect/sample_platedetect.jpg .
$ export PLATERECOGNITION_DEBUG=TRUE
$ ./test_jpeg_platerecognition sample_platedetect.jpg

./test_jpeg_platerecognition sample_platedetect.jpg

?

PLATERECOGNITION_DEBUG 環境變量，當設置為 TRUE 時，將顯示 3-inference 管道生成的信息：

Frame 1
   SSD : label=1 x,y,w,h=2,1,272,304 confidence=0.906937
      PlateDetect : x,y,w,h=103,257,63,21 confidence=0.99977
         PlateNum : size=288,96 color=Blue number=[jingQ2P6J2]

請注意，PlateNum 型號輸出編號有兩部分：

• 地區：“京Q”（注意“jing”是京的漢語拼音）
• 編號：“2P6J2”

京Q - 2P6J2

?

。

$ cd ~/vitis_ai_cpp_examples/platerecognition
$ export DISPLAY=:0.0
$ xrandr--output DP-1 --mode 800x600
$ unset PLATERECOGNITION_DEBUG
$ ./test_video_platerecognition./video/plate_recognition_video.mp4

已知限制

本項目中實施的車牌識別適用于亞洲車牌。為了支持其他地區的車牌，還需要做額外的工作。

你會如何解決這個問題？

• 你會用當地車牌的圖像重新訓練模型嗎？
• 你會使用不同的技術嗎？

結論

我希望本教程能幫助您在 Avnet 平臺上快速開始使用 Vitis-AI 1.3。

如果您還想看到任何其他相關內容，請在下面的評論中分享您的想法。

?