描述

學習曲線和挑戰(zhàn)！

我最初參加自適應計算挑戰(zhàn)賽時的想法是在您的房屋周圍創(chuàng)建情境意識：家庭輔助情境意識 (HASA)。使用對象檢測模型、流式攝像頭和 Kria KV260 Vision AI 套件，其目的是識別房子周圍感興趣的事件（汽車/貨車/卡車出現(xiàn)在您的車道上，一個人正在走向您的房子或正在在您的車道上，校車到達等），然后在該事件發(fā)生時通過短信通知您。我已經(jīng)用 Jetson Nano（用 Python 編寫）做過類似的事情，所以我認為用 Kria KV260 進行模擬并不難。是不是讓我大吃一驚！

作為自適應計算挑戰(zhàn)賽的一部分，我是獲得 Kria KV260 Vision AI Starter Kit 的幸運者之一。它由電路板和附件包組成，其中包括 USB 電纜、HDMI 電纜、以太網(wǎng)電纜、MicroSD 卡、相機模塊和電源適配器。

Kria KV260 Vision AI 入門套件，帶附件包

?

我遇到的第一個挑戰(zhàn)是使用哪種操作系統(tǒng)？比賽開始后不久，Xilinx 宣布Ubuntu現(xiàn)在是 Kria KV260 的一個選項。鑒于我以前從未使用過 Petalinux，我認為 GUI 是安全的選擇。這樣做的缺點是操作系統(tǒng)太新了，大多數(shù)賽靈思文檔都提到了 Petalinux 操作系統(tǒng)，而且許多示例僅與 Petalinux 兼容（即 Smartcamera）。我想我可以使用自己的模型并開發(fā)自己的可執(zhí)行文件。

第二個挑戰(zhàn)是硬件沒有配備 Wifi！無論好壞，我的房子都是用無線的，而且我要工作的區(qū)域并不靠近路由器或接入點，所以我必須想辦法實現(xiàn)無線！我從另一個硬件中借了一個 Realtek USB Wifi 適配器，并尋找可以與 Kria 一起使用的驅動程序。經(jīng)過幾個小時的網(wǎng)絡搜索和一些死胡同，我終于有了一個可以工作的 USB Wifi 適配器！是的！

Kria 上的 Wifi，耶！

?

一旦我加載了操作系統(tǒng)并啟動了 Wifi，我的下一步就是測試 NLP Smartvision 示例。該示例相當集中在其自己的目錄中，因此使用起來相當簡單。這是有道理的，因為交通模型的意圖是駕駛汽車的視角。

?

?

?

我嘗試了 RGB 顏色輸入和黑白（用于陽光漂白的條件），模型在兩者中都表現(xiàn)良好。當檢測到感興趣的對象時，會發(fā)送一條短信提醒房主：

檢測到事件時發(fā)送文本消息。

?

結論

這個項目對我來說是一個挑戰(zhàn)，花了很多時間。我對 FPGA 沒有太多經(jīng)驗，這是我第一次涉足 AMD-Xilinx 硬件。我花了很多時間和研究來學習 Vitis AI 庫的結構和功能。瀏覽Vitis AI 模型動物園并測試與這些模型兼容的示例 真的很巧妙。

未來的能力將是根據(jù)我的確切需求增加或定制模型。我嘗試使用自己的模型，但未能成功使其與 Kria 一起使用。我很高興我能夠從 SSD 流量模型轉移到 SSD Mobilenet V2 模型并獲得更好的結果。我希望你喜歡這個，并隨時與任何問題聯(lián)系。謝謝！

?

?