精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何通過生產就緒平臺快速構建和部署自適應邊緣視覺應用

海闊天空的專欄 ? 來源:Stephen Evanczuk ? 作者:Stephen Evanczuk ? 2023-10-03 14:24 ? 次閱讀

作者:Stephen Evanczuk

在越來越多的嵌入式視覺應用中,如機器視覺、安保、零售和機器人人工智能AI) 在基于邊緣的智能攝像頭上的應用已迅速獲得認可。雖然可獲得機器學習(ML) 算法的迅速出現幫助迎來了人們對 AI的這種興趣,但開發人員仍難以在滿足緊迫的項目時間表的同時,在保持低功耗的情況下為基于邊緣的應用提供高性能。

更為復雜的是,由于應用需求的快速變化和演化算法的持續改進,即使是新部署的解決方案也會迅速成為次優方案。

本文將介紹 Xilinx 提供的靈活系統級模塊 (SOM)解決方案,開發人員能用它來快速實現邊緣部署的智能攝像頭解決方案。文中展示了他們如何能夠更容易地調整這些解決方案,以應對不斷變化的需求,而不影響對延時和功耗的關鍵要求。

加快視覺應用的執行

Xilinx 的 Kria K26 SOM 基于定制的 Zynq UltraScale+ 多處理器片上系統(MPSoC),提供了強大的嵌入式處理系統,其中包括一個 64 位四核 Arm Cortex-A53 應用處理單元 (APU)、一個 32 位雙核 Arm?
Cortex?-R5F 實時處理單元 (RPU) 和一個 Arm Mali-400MP2 3D 圖形處理單元 (GPU)。SOM 將 MPSoC 與四千兆字節的64 位寬雙倍數據速率 4 (DDR4) 存儲器和相關的存儲控制器以及多個非易失性存儲器 (NVM) 器件結合起來,包括 512 兆位 (Mb)的四路串行外設接口 (QSPI) 存儲器、16 千兆字節 (GB) 的嵌入式多媒體卡 (eMMC) 存儲器和 64 千位 (Kb) 的電可擦除可編程只讀存儲器(EEPROM)(圖 1)。

1.png

圖 1:Xilinx 的 Kria K26 SOM 將定制的 Zynq UltraScale+ MPSoC 的廣泛處理能力與可信平臺模塊 2.0
(TPM2) 以及動態和非易失性存儲器相結合。(圖片來源:Xilinx)

Xilinx 通過廣泛的可編程邏輯系統補充其處理和存儲器資產,該系統包括 256K 系統邏輯單元、234K 可配置邏輯塊 (CLB) 觸發器、117KCLB 查找表 (LUT),以及分布式隨機存取存儲器 (RAM)、塊 RAM 和 ultraRAM 塊等各種配置共計 26.6 兆位 (Mb)的存儲器。此外,可編程邏輯系統包括 1,248 個數字信號處理 (DSP) 片、四個收發器以及一個 H.264 和 H.265 的視頻編解碼器,能夠支持多達32 個流的同時編/解碼,在 60 幀/秒 (fps) 的情況下總像素達 3840 x 2160。SOM 的兩個 240 針連接器通過用戶可配置的輸入/輸出(I/O) 提供對功能塊和外設的隨時訪問。

這種處理器內核、存儲器和可編程邏輯的組合提供了獨特的靈活性和性能水平,克服了高速執行 ML 算法所用 GPU 的主要缺點。不同于 GPU的固定數據流,開發人員可以重新配置 K26 SOM 數據路徑,以優化吞吐量并減少延時。此外,K26 SOM 的架構特別適合于處于不斷增加的 ML應用核心的稀疏網絡

K26 SOM 的可編程性還解決了存儲器瓶頸問題,這些瓶頸既增加功耗,又限制存儲器密集型應用的性能,如使用 GPU、多核處理器甚至高級 SoC的傳統架構構建的 ML。在使用這些傳統器件設計的任何應用中,外部存儲器通常占系統功耗的 40% 左右,而處理器內核和內部存儲器通常各占 30%左右。相比之下,開發人員可以利用 K26 SOM 的內部存儲器塊和可重構性來實現幾乎不需要外部存儲器訪問的設計。因此,與傳統器件相比,性能提高,功耗降低(圖2)。

2.png

圖 2:雖然基于嵌入式 CPU 和典型 SoC 的系統需要多次以高功耗訪問存儲器來運行其應用,但基于Xilinx Kria的系統則采用高效視覺管道,其可設計為避免任何 DDR 訪問。(圖片來源:Xilinx)

除了高性能、低功耗和廣泛的可重構性外,K26 SOM 有助于確保敏感應用的智能攝像頭設計的安全性。除了 SOM 內置 TPM 安全器件外,MPSoC還集成了一個專用配置安全單元 (CSU),支持安全啟動、篡改監控、安全密鑰存儲和加密硬件加速。CSU、內部片上存儲器 (OCM)和安全密鑰存儲共同提供了安全基礎,以確保實現安全啟動的硬件信任根和用于應用執行的可信平臺。

K26 SOM的廣泛功能為實施基于邊緣的苛刻應用提供了強大的基礎。然而,每個應用都有自己的要求,即與一組特定應用的外設和其他元器件相關的特性和功能。為了簡化特定應用解決方案的實施,K26 SOM 可專門插入一個能承載其他外設的載卡中。Xilinx 通過其基于 Kria K26 的 KV260 視覺 AI 入門套件展示了這種方法。

入門套件簡化了視覺應用的開發

Xilinx 的 KV260 視覺 AI 入門套件包括一個插入到以視覺為中心的載板的 K26 SOM,該套件提供了一個開箱即用的平臺,專門用于即時評估和快速開發智能視覺應用。盡管 K26 SOM
提供了所需的處理能力,但入門套件的載板提供了電源管理,包括上電和復位定序,以及用于攝像頭、顯示器和 microSD 卡的接口選項和連接器(圖 3)。
1.png

圖 3:Xilinx 的 KV260 視覺 AI 入門套件使用插入到以視覺為中心的載板的 K26
SOM,提供了一個完整的智能視覺解決方案。(圖片來源:Xilinx)

除了多個接口外,載板還通過其 Raspberry Pi 連接器和一對圖像訪問系統 (IAS) 連接器提供多攝像頭支持。其中一個連接器鏈接到一個專用
onsemi 1300 萬像素 AP1302 圖像傳感器處理器 (ISP),其能應對所有圖像處理功能。

為了進一步加快實現基于視覺的應用,Xilinx
通過各種預置加速視覺應用以及一套全面的軟件工具和庫(以便進行定制開發),來支持這種預定義的視覺硬件平臺。

加速應用提供即時解決方案

為了即時評估和快速開發加速視覺應用,Xilinx
提供了幾個預置應用,其中演示了幾個流行用例的執行,包括使用其可編程邏輯的智能攝像頭人臉檢測、行人識別和跟蹤、缺陷檢測以及使用 MPSoC
處理系統的成對關鍵字識別。在 Xilinx Kria
應用商店中,每個應用都為其特定用例提供了完整的解決方案,并配有相應的工具和資源。例如,智能攝像頭人臉檢測應用使用 KV260 載卡的內置 AR1335
圖像傳感器和 AP1302 ISP 來采集圖像,并由載卡的 HDMI 或 DisplayPort (DP) 輸出來渲染結果。對于人臉檢測處理,應用配置了 K26
SOM,以提供視覺管道加速器和預置的機器學習推理引擎,用于人臉檢測、人員計數和其他智能攝像頭應用(圖 4)。

2.png

圖 4:預置的加速應用可從 Xilinx Kria 應用商店下載,可在 KV260入門套件上立即運行,為人臉檢測等視覺使用模型提供完整的解決方案。(圖片來源:Xilinx)

來自 Xilinx 應用商店的預置加速應用提供完整的實施和支持,讓開發人員能夠在一小時內完成設計并運行,即使缺乏 FPGA經驗也沒問題。評估應用時,他們可以使用所提供的軟件堆棧來修改功能,以探索替代解決方案。對于更廣泛的定制開發,Xilinx 提供了一套全面的開發工具和庫。

AI 開發環境和工具加速定制開發

對于基于 AI 應用的定制開發,Xilinx 的 Vitis AI開發環境提供了優化的工具、庫和預先訓練的模型,可用作更專業的定制模型的基礎。對于運行時操作環境,Xilinx 基于 Yocto 的 PetaLinux 嵌入式Linux 軟件開發套件 (SDK) 提供了構建、開發、測試和部署嵌入式 Linux 系統所需的全套功能。

Vitis AI 環境針對沒有 FPGA 經驗的專家和開發人員而設計,將底層硅硬件的細節抽象化,讓開發人員能夠專注于建立更有效的 ML模型。事實上,Vitis AI 環境與開源 Apache Tensor 虛擬機 (TVM)深度學習編譯器堆棧集成,讓開發人員能夠將他們的模型從不同的框架編譯到處理器、GPU 或加速器。開發人員使用帶有 TVM 的 Vitis AI,可以用加速視覺功能增強其現有設計,將深度學習模型等計算密集型視覺工作負載卸載到 Kria SOM。為了幫助開發人員進一步優化其深度學習模型,Xilinx的 AI 優化工具可以對神經網絡進行修剪,以降低每秒十億次運算 (Gops) 數的復雜性,提高每秒幀數 (fps),并減少過度參數化的模型,其中將模型壓縮高達50 倍,而對平均精度 (mAP) 所代表的準確性幾乎沒有影響(圖 5)。

1.png

圖 5:Xilinx Research 的一項案例研究表明,使用 Xilinx AI 優化工具進行幾次迭代修剪,就可以迅速降低神經網絡在 Gops數上的復雜性,同時提高每秒幀數,而這一切對準確性幾乎沒有影響。(圖片來源:Xilinx)

對于定制視覺應用的實現,Xilinx 的開源 Vitis Vision 庫在 Xilinx 平臺上進行了高性能和低資源利用的優化,提供了一個基于OpenCV 的熟悉界面。在分析方面,Xilinx 的視頻分析 SDK 應用框架幫助開發人員建立更有效的視覺和視頻分析管道,而不需要深厚的 FPGA知識。視頻分析 SDK 基于廣泛采用的開源 GStreamer 框架,開發人員可以用它快速創建自定義加速內核,作為 GStreamer 插件集成到 SDK框架。

典型的嵌入式開發人員使用這些工具,無論是否有自定義加速內核,都可以很容易地組裝自定義加速管道。

總結

計算密集型 ML算法使智能視覺技術能夠在邊緣運行的多種應用中使用,但要滿足基于邊緣的視覺系統的高性能、低功耗和適應性的要求,開發人員面臨著多種挑戰。Xilinx 的 Kria K26 SOM 解決方案為加速高級算法提供了硬件基礎,同時又不超出嚴格的功耗預算。開發人員使用基于 Kria K26的入門套件和預置應用,可以立即開始評估智能視覺應用,并使用全面的開發環境來創建自定義邊緣設備解決方案。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 嵌入式
    +關注

    關注

    5069

    文章

    19023

    瀏覽量

    303443
  • 存儲器
    +關注

    關注

    38

    文章

    7454

    瀏覽量

    163613
  • ML
    ML
    +關注

    關注

    0

    文章

    146

    瀏覽量

    34609
收藏 人收藏

    評論

    相關推薦

    如何快速部署邊緣就緒的機器學習應用

    作者:Stephen Evanczuk 機器學習 (ML) 為創造智能產品提供了巨大的潛力,但神經網絡 (NN) 建模和為邊緣創建 ML應用非常復雜且困難,限制了開發人員快速交付有用解決方案的能力
    的頭像 發表于 10-03 14:29 ?553次閱讀
    如何<b class='flag-5'>快速</b><b class='flag-5'>部署</b><b class='flag-5'>邊緣</b><b class='flag-5'>就緒</b>的機器學習應用

    如何在自己的固件中增加wifi自適應性相關功能,以通過wifi自適應認證測試?

    目前官方提供了自適應測試固件 ESP_Adaptivity_v2.0_26M_20160322.bin 用于進行 wifi 自適應認證測試. 請問如何在自己的固件中增加 wifi 自適應性相關功能,以
    發表于 07-12 08:29

    【Banana Pi M1+申請】閾值自適應視頻邊緣檢測算法的嵌入式快速實現

    申請理由:本人已經成功完成閾值自適應視頻邊緣檢測算法的FPGA快速實現,但FPGA也有很多局限性,所以想將硬件平臺從FPGA換成香蕉派。相信會有全新的體驗,和更加快捷的開發途徑。項目描
    發表于 06-20 15:55

    如何搭建DotNet Core 21自動化構建和部署環境

    邊緣化搭建DotNet Core 21 自動化構建和部署環境(上)
    發表于 04-23 14:53

    構建一種低功耗小基站和適變型邊緣計算MEC網絡平臺

    的核心技術支撐下,共同構建面向垂直行業的5G高規格低功耗小基站和適變型邊緣計算MEC(Mobile Edge Computing)網絡平臺。5G標準通過支持大帶寬、高階MIMO、高階調
    發表于 09-08 14:12

    LabVIEW開發自適應降噪ANC

    。本文介紹使用自適應篩選器工具包的ANC的一些實際示例。 ANC應用程序使用自適應過濾器,這些過濾器的系數會根據特定標準自動調整。通過一些最小均方(LMS)、歸一化LMS和遞歸最小二乘法(RLS)等方法
    發表于 11-30 19:38

    基于自適應邊緣提取的人眼定位方法

    本文提出了一種基于自適應邊緣提取的人眼定位算法。首先通過高斯平滑濾波對原始圖像進行預處理,然后利用Robert 算子進行邊緣提取,并且以邊緣
    發表于 07-16 09:21 ?19次下載

    一種新的快速自適應車牌定位方法

    針對現存車牌定位方法自適應性差和魯棒性不強的情況,本文提出了一種新的快速自適應車牌定位算法.此算法結合圖象中車牌區域的紋理特征、灰度和邊緣投影信息定位車牌,經
    發表于 08-26 08:19 ?27次下載

    超大視場自適應快速對焦算法

    超大視場自適應快速對焦算法,畢業論文分享。
    發表于 05-12 14:25 ?0次下載

    自適應快速最大信息系數算法實現

    自適應快速最大信息系數算法實現
    發表于 01-07 20:49 ?0次下載

    基于模糊自適應PID算法的快速充電系統設計_孫莉莉

    基于模糊自適應PID算法的快速充電系統設計_孫莉莉
    發表于 01-13 21:36 ?1次下載

    面向邊緣檢測的限制型自適應SUSAN算法

    segment assimilating nucleus,USAN),并經過單一閾值判斷,非邊緣點易被誤判為邊緣點,導致算法的低魯棒性。針對此問題,提出了結合自適應門限算法和閾值選擇策賂的限制型
    發表于 05-12 14:22 ?2次下載

    自適應平臺Adaptive Platform資料匯總

    自適應平臺Adaptive Platform資料匯總
    發表于 07-22 11:19 ?2次下載

    Dialog半導體公司為Xilinx Kria K26自適應系統模塊提供電源管理方案

    賽靈思的Kria自適應SOM產品組合是可隨時投產的小型嵌入式板卡,可在基于邊緣的應用中實現快速部署
    發表于 08-30 10:03 ?2283次閱讀

    如何使用生產就緒平臺邊緣快速構建和部署自適應視覺應用程序

    發表于 11-24 19:25 ?0次下載
    如何使用<b class='flag-5'>生產</b><b class='flag-5'>就緒</b><b class='flag-5'>平臺</b>為<b class='flag-5'>邊緣</b><b class='flag-5'>快速</b><b class='flag-5'>構建和</b><b class='flag-5'>部署</b><b class='flag-5'>自適應</b><b class='flag-5'>視覺</b>應用程序