描述

介紹

COVID-19 大流行仍在全球范圍內蔓延。它在許多方面影響了人類生活，并對公共衛生、全球交通系統和許多領域提出了前所未有的挑戰。大多數政府已實施封鎖政策并限制國際旅行，以減輕病毒的傳播。雖然事實是目前還沒有靈丹妙藥能夠對抗病毒，但接種疫苗仍然是目前減輕病毒死亡率和發病率的最有效手段之一。

然而，全球疫苗接種率仍然很低，尤其是在低收入國家，因為他們獲得醫療資源和資金的機會有限。據世衛組織稱，低收入國家只有 14.5% 的人口至少接受過一劑疫苗。許多非洲國家的疫苗接種率甚至更低，包括乍得、馬達加斯加和坦桑尼亞，其免疫接種率僅為 1.5% 至 4% [1]。提供低成本的疫苗接種解決方案既緊迫又具有挑戰性。開發疫苗本身成本高昂，而另一個成本高昂的組成部分是疫苗接種本身，這需要額外的資源，例如額外的醫務人員和額外的醫療費用。此外，傳統的疫苗接種無疑會增加病毒傳播的風險和醫護人員的工作量。

總而言之，當前的臨床需求清楚地表明，在持續的大流行仍然威脅著全球社會并采取了看不見的措施（包括社會疏遠和封鎖）的時候，迫切需要安全和足夠的疫苗覆蓋率。

自主注射機器人

自主機器人注射作為一種安全有效的解決方案，可以在無人的環境中提供疫苗，人們只需走進去并將手臂伸入一個封閉的空間。最近，開發了幾個這樣的原型，它們在下面簡要列出。

Cobi：滑鐵盧開發了 Cobi，這是世界上第一個自主機器人無針注射。借助激光雷達傳感器和人工智能位置跟蹤，Cobi 能夠識別人體。然后，如下圖所示，360度深度感知將無用機械臂引導至患者手臂上的注射部位進行藥物輸送。[2]

后羿：如下圖所示，上海同濟大學研發的自動疫苗注射機器人，也可以通過3D人體建模，自動識別人體上的指定注射位置。識別算法將攝像頭拾取的3D點與3D模型上的對應部位進行擬合，然后給出注射點。[3, 4]

值得一提的是，兩種解決方案均采用無針疫苗接種，確保安全無痛注射。這些機器人的另一個關鍵要素是能夠以智能方式檢測正確的注射部位。在這兩種情況下，都使用配備多維傳感器的復雜 3D 模型識別算法來完成檢測任務。雖然這些算法可以提供準確的站點檢測，但它們也涉及大量的開發工作、昂貴的傳感技術和昂貴的相機。這些都增加了這些機器人的總成本。在這個項目中，我們聲稱為自主注射部位提出一種低成本但有效的解決方案很重要，并且可以有所作為用于將機器人部署到世界不同地區。我們先來了解一下注射部位通常在手臂上的什么位置。

肌肉注射部位

目前的 COVID-19 疫苗主要是肌肉注射，因為肌肉具有良好的血管分布，可以使注射迅速參與全身循環。綜合考慮，三角肌（如下圖）是最適合接種疫苗的部位，因為它的血液供應充足，面積大[5]。根據該圖，我們咨詢了醫學專家，得出的結論是，肌肉注射部位是一個較大的身體區域，個體對該區域的暴露差異較小。這激發了我們尋找替代解決方案以使用視覺 AI 輔助技術檢測站點的想法。

Vision-AI 輔助注射部位檢測

上述注射部位檢測的現有研究主要利用 3D 傳感技術，這意味著需要支持 3D 人體視覺的先進 AI 模型和相應定制的相機。還涉及昂貴的硬件來促進這些模型。

在這個項目中，我們提出了 J-Eye，這是一種基于Xilinx KV260 板的低成本 2D 視覺 AI 輔助肌肉注射部位檢測解決方案。最終目標是為促進自主注射提供替代解決方案。

在這里，我們的目標是在 KV260 上構建一個低成本的注入點檢測應用程序，并利用 Xilinx 提供的強大工具套件。我們還旨在使用輕量級 AI 模型探索 2D 物體檢測/定位技術的能力，該模型可以在 FPGA 板上實現，易于設置。

目前只有少數工作專注于 2D 視覺 AI 輔助人體手臂檢測，并且沒有可用的大型公共數據集。考慮到 Vitis-AI 模型動物園對 KV260 的適用性及其用戶友好的訓練、量化、編譯過程，我們專注于全面部署 Vitis-AI 的模型及其功能。此外，基于人臉比手臂更容易區分的事實以及當今人臉檢測研究的蓬勃發展，我們決定利用人臉檢測的價值，僅通過二維圖像處理來定位“無特征”的三角肌和注射部位。這是通過利用 Vitis-AI 模型動物園中可用的面部檢測模型來實現的，然后將其結果轉換為針對注射部位。

項目概況

我們的項目是按照如下所示的邏輯流程開發的。

目的是讓連接 KV260 的監護儀指示患者手臂上的注射部位。由于硬件資源的限制和目前現有的手臂檢測工作數量較少，我們決定將問題簡化為人臉檢測輔助后處理來指示結果。對于我們項目的主要部分，我們研究了基于 Vitis-AI 的模型選擇和訓練策略。而對于后處理，主要是使用 VVAS 的 OpenCV 編碼。然后在測試階段，我們使用收集到的與我們的應用場景相匹配的圖像來查看不同訓練時期或訓練策略下的準確性，然后相應地重新訓練模型。最后，演示部分以圖片輸入為基礎，結果呈現更加清晰穩定。

環境設置

KV260

以下步驟將讓您了解如何開始使用 KV260 ，以及如何在您的計算機和 KV260 之間啟用便捷的文件傳輸。

注意：以下設置和構建過程是在Windows上實現的。

先決條件：Mobaxterm、balenaEtcher

首先，獲取官方發布的SD 卡鏡像，并使用 balenaEtcher 將其刷入您的 SD 卡。

然后讓您的 KV260 和計算機連接起來，如下所示。

打開 Mobaxterm, 創建一個新的Session并選擇 “Serial”,

然后選擇一個帶有前綴“COM”的串行端口，描述為 USB 類型。通常你會看到兩個具有匹配特性的串口，但索引較小的那個是正確連接的。

接下來，將Speed更改為 115200。在Advanced Serial Settings部分中，修改如下設置。

單擊確定以連接到板。請注意，如果您看不到板上的任何消息并且沒有報告錯誤消息，請按鍵盤上的 Enter。

為了方便我們的計算機和 KV260 之間的文件傳輸，首先我們應該為我們的板子啟用 ssh。

在您剛剛在 Mobaxterm for KV260 中打開的終端中，輸入

ifconfig

獲取板子的IP地址。

然后仍然在 Mobaxterm 中，創建一個新會話。選擇“SSH”并填寫您剛剛擁有的IP地址并將用戶名指定為“petalinux”。

并在高級 SSH 設置部分，將 ssh-browser 類型修改為“ SCP（增強速度）”。然后單擊確定，您將看到終端如下所示。

現在，對于文件傳輸，在 Mobaxterm 中轉到您要上傳/下載文件的目錄。然后只需將要傳輸的文件拖入/從目錄中傳輸，如下圖所示。

如果文件傳輸過程中出現權限錯誤提示，可以嘗試修改目標目錄的權限

sudo chmod 777 ${TARGET_DIRECTORY}

Vitis-AI

以下步驟將告訴您如何在您自己的計算機上設置 Vitis-AI。

注意：以下設置和構建過程在Ubuntu 20.04上實現。

先決條件：碼頭工人

首先，通過此命令克隆 Vitis-AI 存儲庫。

git clone --recurse-submodules https://github.com/Xilinx/Vitis-AI

轉到克隆的目錄。

cd Vitis-AI

建議通過以下命令從 docker hub 拉取 docker 鏡像，因為這樣更快。

docker pull xilinx/vitis-ai:latest

請注意，上面的命令只為您構建 CPU 版本的 Vitis-AI，對于 GPU 版本，您可以使用位于下的 shell 文檔Vitis-AI/setup/docker/

./docker_build_gpu.sh

拉取過程完成后，您可以通過以下方式啟動 Vitis-AI

./docker_run.sh xilinx/vitis-ai

。

如果您想為您的自定義應用程序修改/編寫 VVAS 相關代碼，以下步驟將讓您了解如何設置 VVAS 交叉編譯環境。

注意：以下設置和構建過程在Ubuntu 20.04上實現。

我們將首先設置 Xilinx 提供的 VVAS 的交叉編譯環境。轉到克隆的 Vitis-AI 存儲庫的目錄（如果沒有，請轉到上面的 Vitis-AI 設置部分）。然后導航到setup/mpsoc/VART并在命令行中鍵入以下內容。

./host_cross_compiler_setup.sh

運行命令完成后，它將告訴您如何啟動 setup 交叉編譯環境，如下所示。

source ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux

請注意，每次啟動新終端時，請重新運行此命令以啟動環境。

接下來，ls在當前目錄下，你會看到一個 sdk shell 文件。然后運行以下命令。

./${SDK_NAME}.sh -d `pwd` -y

完成此操作后，您已經設置了 VVAS SDK，命令行會告訴您激活它，例如，

. ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux

請注意，每次啟動新終端時，請重新運行此命令以啟動 SDK。

現在您已準備好為您的應用程序編譯 VVAS 相關代碼的一切。詳細的編譯過程將在后處理單元構建部分給出。

在接下來的 3 部分中，我們將為您提供詳細的構建流程說明，包括我們的應用模型的 Vitis-AI 模型訓練，我們定制的后處理單元的 VVAS 使用，最后，如何將它們與原始 kv260-smartcam 集成構建我們的應用程序 J-Eye。它們的結構簡介如下所示。

Vitis-AI 模型準備

可與 VVAS 一起使用的受支持 Vitis-AI 模型是有限的。對于我們需要的模型類 FACEDETECT，VVAS 中只有 densebox 可用，并且精度很高。考慮到我們的應用場景是疫苗接種。為了降低病毒傳播的風險，人們在打針時大多戴口罩。Vitis-AI 中預訓練的密集框使用數據庫WIDER FACE進行一般人臉檢測訓練，其中不強調醫學蒙面的人臉。為了確保可以很好地檢測蒙面人臉，尤其是當人們在注射過程中將側臉轉向相機時，我們使用MAFA（最流行的蒙面人臉數據集之一）基于預訓練的密集框增量訓練。

準備 AI 模型的詳細構建過程如下所示。

模型訓練

我們的模型是使用 caffe 訓練的，它在 Vitis-AI 中的環境可以被激活為

conda activate vitis-ai-caffe

訓練過程基于Vitis-AI 提供的預訓練模型。通過上面的鏈接進入你下載的官方模型的目錄。然后導航到code/train/并運行以下命令。

vai_q_caffe finetune -solver solver.prototxt -weights quantize_train_test.caffemodel -model train.prototxt

請注意，此處所需的所有文件均由 Vitis-AI 密集盒模型提供，但我們對訓練過程進行了一些重大修改。您可以通過https://github.com/iCAS-SJTU/J-eye/tree/main/models/train訪問我們修改后的文件。但是當你在做這一步時，請修改訓練數據集的路徑train.prototxt。并且根據您的計算機配置，您可以分別更改批量大小和最大迭代train.prototxt次數solver.prototxt。至于數據集，您可以通過此鏈接下載它https://drive.google.com/drive/folders/1nbtM1n0--iZ3VVbNGhocxbnBGhMau_OG

完成此步驟后，您將派生一個帶后綴的浮點模型。caffemodel在目錄${DOWNLOADED_MODEL_FILE_PATH}/code/train/snapshot中，將在下一步中量化

模型量化

這里我們使用 Vitis-AI 提供的量化命令生成編譯所需的量化模型。

vai_q_caffe quantize -model quantize.prototxt -weights armdetect_float.caffemodel -keep_fixed_neuron

你可以quantize.prototxt從下載的densebox模型和https://github.com/iCAS-SJTU/J-eye/tree/main/models/floatarmdetect_float.caffemodel中找到。您應該在準備好所有需要的文件的目錄中運行此命令，或者您需要更改命令中的相對路徑。

模型編譯

我們使用 Vitis-AI 提供的編譯命令進行編譯，您將導出一個.xmodel可以放在 KV260 上的文件。

vai_c_caffe -p quantized/deploy.prototxt -c quantized/deploy.caffemodel -a arch.json -o compiled/ -n arm_detect

您可以在https://github.com/iCAS-SJTU/J-eye/tree/main/models/quantized中找到deploy.prototxt、deploy.caffemodel和。您應該在準備好所有需要的文件的目錄中運行此命令，或者您需要更改命令中的相對路徑。arch.json

后處理單元大樓

利用 VVAS 將幫助我們將檢測結果轉換到監控屏幕上。在這里，我們將向您展示如何將修改后的源代碼編譯為可供后處理配置文件使用的庫文件。

首先，我們必須從 github 克隆 VVAS 存儲庫，以便為我們的后處理代碼編譯獲取所需的實用程序和庫。

git clone https://github.com/Xilinx/VVAS.git

要獲得我們需要的所有實用程序和庫，我們必須按以下順序進行編譯

• vvas-utils
• vvas-gst-插件
• vvas-accel-sw-libs

vvas-utils

首先我們應該meson.cross根據提供的VVAS/vvas-utils/meson.cross.template. 只有兩件事你需要做修改，${SYSROOT}和${NATIVESYSROOT}，其中${SYSROOT}指代${PATH_TO}/petalinux_sdk_2021.1/sysroots/cortexa72-cortexa53-xilinx-linux和${NATIVESYSROOT}指代${PATH_TO}/petalinux_sdk_2021.1/sysroots/x86_64-petalinux-linux。

如果您是第一次為 VVAS 進行交叉編譯，請執行以下命令。

cp meson.cross ${NATIVESYSROOT}/usr/share/meson/aarch64-xilinx-linux-meson.cross

然后我們準備編譯:)

使用設置交叉編譯環境和 SDK 時提供的命令獲取編譯環境。

. ${PATH_TO}/environment-setup-cortexa72-cortexa53-xilinx-linux
source ${PATH_TO}/petalinux_sdk_2021.1/environment-setup-cortexa72-cortexa53-xilinx-linux

假設你在目錄下VVAS/vvas-utils/，

mkdir build
meson build
cd build
ninja

這部分編譯成功后（假設你還在目錄中build），我們必須鍵入以下命令，以使我們后面的編譯步驟更容易。

cp pkgconfig/ivas-utils.pc ${SYSROOT}/usr/lib/pkgconfig
cp utils/libivasutil.so utils/libxrtutil.so ${SYSROOT}/usr/lib

另外，將目錄下的所有頭文件復制vvas-utils/到 ${SYSROOT}/usr/include

vvas-gst-插件

假設你在目錄下VVAS/vvas-gst-plugins/，

mkdir build
meson build
cd build
ninja

這部分編譯成功后（假設你還在目錄中build），做下面的復制工作，讓我們后面的編譯步驟更簡單。

cp pkgconfig/ivas-utils.pc ${SYSROOT}/usr/lib/pkgconfig
cp ${SO_FILE_NAME}.so ${SYSROOT}/usr/lib

另外，將目錄下的所有頭文件復制vvas-gst-utils/到 ${SYSROOT}/usr/include

vvas-accel-sw-libs

假設你在目錄下VVAS/vvas-accel-sw-libs/，去vvas_xboundingbox/src替換為vvas_xboundingbox.cpp我們的后處理代碼（我們的源代碼ivas_airender.cpp由Xilinx提供修改）。然后

cd ../..
mkdir build
meson build
cd build
ninja

現在，vvas_xboundingbox/您將在下面找到vvas_xboungdingbox.so將用作在 KV260 上進行后期處理的重要文件。

在 KV260 上組裝

在 KV260 上，下載應用程序 smartcam 的軟件包。

sudo dnf install packagegroup-kv260-smartcam.noarch

在KV260 上的目錄下，/opt/xilinx/share/ivas/smartcam/

mkdir armdetect
cd armdetect

然后將https://github.com/iCAS-SJTU/J-eye/tree/main/models/config中的所有配置文件復制到這個目錄下（配置文件是官方發布的修改）。

接下來，進入目錄/opt/xilinx/share/vitis_ai_library/models/kv260-smartcam/，

mkdir armdetect
cd armdetect

然后將https://github.com/iCAS-SJTU/J-eye/tree/main/models/編譯好的所有模型相關文件復制到這個目錄下。

對于后處理部分，從https://github.com/iCAS-SJTU/J-eye/tree/main/post-processing復制庫文件并將其放在/opt/xilinx/lib.

完成所有這些后，您就可以開始我們的應用程序了

sudo xmutil unloadapp
sudo xmutil loadapp kv260-smartcam
sudo smartcam -u ${USB_PORT_NUMBER} -W 1920 -H 1080 --target dp -a armdetect

請注意，${USB_PORT_NUMBER}可以通過以下方式找到可用的ls /dev | grep media

結果

為了驗證我們訓練的模型和后處理單元的檢測能力，我們從Google.com中選擇了一組圖片顯示剛接種疫苗的人。我們的測試集涵蓋了不同的性別、種族和年齡。驗證輸出標記在圖片上。請注意，這里我們僅將部分結果作為示例顯示。紅色矩形表示面部，白色實心圓圈表示注射部位。根據結果??，它表明在口罩可用或不可用的情況下，以及在提供側視圖或前視圖的情況下，人臉都能被正確識別。我們的解決方案能夠正確定位該點，這通過將白點與圖片上的原始繃帶重疊來反映。已經測試了 100 多張圖片，并且顯示了類似的結果。這大大增強了我們的信心。

。

?

下面是我們在 KV260 上啟動 J-Eye 后如何進行演示。KV260 連接 USB 攝像頭和監視器，如下圖所示。監視器也是機器人系統的一部分。屏幕將顯示檢測結果。接受注射的人員應按地面標明的位置站立。

確保您在相機前筆直站立，并且您的左側臉大約在屏幕中心。

如果您不在機器人可達范圍內怎么辦？

如果接受注射的人站在可檢測范圍的角落，我們的應用程序支持在屏幕上顯示提醒消息。

檢測結果如何顯示在屏幕上？

如果您站在可檢測范圍內，應用程序將在屏幕上定位您的面部和注射部位，如下圖所示。

概括

上述結果和演示表明，當患者處于可檢測范圍內并處于如上圖所示的準備注射姿勢時，我們提出的解決方案效果很好。與 3D 解決方案相比，它在更復雜的條件下的檢測性能肯定會受到限制，但這確實是我們的第一次嘗試。我們正在進行的努力包括整合更復雜的模型，并與機械工程系的研究人員合作對整個系統進行原型設計。概念圖如下所示。

這里我們簡要討論整個系統的工作流程。嵌入在機械臂上的攝像頭將與 KV260 板連接。檢測結果將顯示在監視器屏幕上。機械臂將接收到來自電路板的準確檢測信息（例如坐標）并做出相應的移動。在患者超出攝像頭范圍的情況下，警告信息將顯示在監視器上，直到恢復正常狀態。一旦人靜止不動并且面部在相機視圖中，檢測將開始。

最后，我們在下面總結了我們對這個項目的主要貢獻。

• 低成本、高適應性的2D注射部位檢測：我們的項目開發周期較短，成本肯定低于基于3D傳感的注射部位檢測項目。同時，J-eye 有很大的潛力用于其他模型。至于功能，根據我們展示的結果和演示，我們證明了最初的嘗試是有效的。我們正在努力通過查看更復雜的模型以及從多個攝像頭對人體圖片進行采樣的潛在用途來提高檢測精度。
• 使用 Vitis-AI 模型支持無特征的身體區域檢測：在我們的應用場景中，手臂檢測是必不可少的，但人的手臂特征太少，無法在 2D 圖像中足夠區分。許多其他人體部位也是如此，它們雖然是純皮膚，但對于醫療仍然很重要。我們觀察到，人臉檢測是當今成熟的視覺 AI 模型之一，其準確性已被證明因其在市場上的廣泛使用而令人滿意。我們的項目通過適當的后處理動作轉移了其在檢測其他無特征的人體部位方面的價值。
• 增強賽靈思流程：我們的項目充分受益于賽靈思的硬件和軟件支持。但是在 VVAS 設置和編譯部分，一些描述已經過時或對初學者來說很難。在開發過程中，我們還記錄了整個構建過程的詳細說明。它是完全開源的，可供社區使用。

致謝

我們要感謝 Xilinx 團隊的慷慨幫助和耐心回答整個項目期間的所有問題，尤其是在公司并購期間。我們感謝當地衛生專家和醫務人員提供專業建議。

參考

[1] https://www.cnbc.com/2022/02/02/these-countries-have-the-lowest-covid-vaccination-rates-in-the-world.html

[2] https://www.inceptivemind.com/cobi-robot-autonomously-performs-intramuscular-injection-without-needles/21919/

[3] https://www.globaltimes.cn/page/202201/1246148.shtml

[4] https://inf.news/en/tech/1fe00617cfdae9eda4464a2b42006525.html

[5] https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7886662/

[6] https://www.eet-china.com/mp/a86386.html

[7] https://www.xilinx.com/support/documentation/sw_manuals/vitis_??ai/1_3/ug1414 -vitis-ai.pdf

[8] https://xilinx.github.io/kria-apps-docs/main/build/html/docs/smartcamera/docs/app_deployment.html

[9] https://github.com/Xilinx/VVAS