精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Buffer加載AI模型的步驟

h1654155282.3538 ? 來源:糖心他爸 ? 作者:糖心他爸 ? 2021-01-23 09:36 ? 次閱讀

我們在進行CNN模型推理的時候,需要預先從DDR或者ROM中加載AI模型。大家平時一般用的是create from file的形式,為了保護自己的模型IP,一般會在模型上面做一些混淆。下面我們介紹另外一種方式,create from buffer。在編譯算法sdk的階段,可以將AI模型作為機器碼編譯進so中,算法加載的時候從棧內存進行加載就可以。這樣模型的參數和定義就不會暴露在用戶層面,目前MNN、NCNN和RKNN等都提供了create from buffer的類似接口,非常方便用戶們進行使用。

使用的方式也非常的簡單,分如下三步進行操作:(1)生成十六進制模型文件 (2)制作頭文件和cpp文件 (3)采用create from buffer進行模型加載

一、生成十六進制模型文件

可以采用linux提供的xdd工具進行十六進制模型文件的生成。假設你有編譯好的mnn模型或者rknn模型,只要執行如下操作就可以生成十六進制的模型文件:

xxd -i face\_det.mnn face\_det.cpp

二、制作頭文件和cpp文件

pIYBAGALfbqAGpjSAAF3FS2bkmY041.png

cpp文件由xdd工具生成,文件形式如下(文件太大,只截取頭尾兩部分):

o4YBAGALfcCAbhrPAAX6NbOFHzo829.png

o4YBAGALfcmAKMdXAAUVlfDduGg377.png

三、采用create from buffer接口實現模型加載

我們采用MNN的接口為例,核心代碼塊如下:

o4YBAGALfdCAOfisAAHIWiHV9CU372.png

這樣成功進行編譯后,就可以將AI模型固化到算法sdk的so庫當中了。
責任編輯人:CC

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    30239

    瀏覽量

    268473
  • buffer
    +關注

    關注

    2

    文章

    120

    瀏覽量

    30023
收藏 人收藏

    評論

    相關推薦

    防止AI模型被黑客病毒入侵控制(原創)聆思大模型AI開發套件評測4

    在訓練一只聰明的AI小動物解決實際問題,通過構建神經網絡模型并進行推理,讓電腦也能像人一樣根據輸入信息做出決策。 在上述示例中,我創建了一個簡單的深度學習模型,該模型具有兩個全連接層。
    發表于 03-19 11:18

    STM CUBE AI錯誤導入onnx模型報錯的原因?

    使用cube-AI分析模型時報錯,該模型是pytorch的cnn轉化成onnx ``` Neural Network Tools for STM32AI v1.7.0 (STM.
    發表于 05-27 07:15

    AI模型可以設計電路嗎?

    AI模型
    電子發燒友網官方
    發布于 :2024年01月02日 15:09:29

    AI模型怎么解決芯片過剩?

    AI模型
    電子發燒友網官方
    發布于 :2024年01月02日 15:42:05

    怎樣使用PyTorch Hub去加載YOLOv5模型

    種情況下,模型將由預訓練的權重組成,除了輸出層,它們不再與預訓練的輸出層具有相同的形狀。輸出層將保持由隨機權重初始化。強制重新加載如果您在上述步驟中遇到問題,force_reload=True通過丟棄
    發表于 07-22 16:02

    X-CUBE-AI 7.1.0生成代碼初始化錯誤如何解決呢?

    大家好。 我在使用 X-CUBE-AI 7.1.0 版時遇到了問題。當我加載神經網絡的 TFlite 模型并生成代碼時,我在初始化輸入和輸出緩沖區時遇到了問題。特別是我對這個分配
    發表于 12-26 10:15

    為什么無法加載keras模型

    你好, 我創建了自己的模型并將其保存為 .h5。 但是,當我分析時,出現以下錯誤。 E010(InvalidModelError):無法加載 Keras 模型 D:motion.h5,E010
    發表于 12-27 09:04

    HarmonyOS:使用MindSpore Lite引擎進行模型推理

    () % divisor) / divisor;// 0--0.9f } } return OH_AI_STATUS_SUCCESS; } 然后進入主要的開發步驟,具括包括模型的準備、讀取、編譯、推理和釋放,具體開發
    發表于 12-14 11:41

    OpenHarmony分論壇-圖庫應用數據加載顯示模型

    OpenHarmony分論壇-圖庫應用數據加載顯示模型 天的2021華為開發者大會上,OpenHarmony分論壇上展示了圖庫應用數據加載顯示模型
    的頭像 發表于 10-23 13:42 ?1016次閱讀
    OpenHarmony分論壇-圖庫應用數據<b class='flag-5'>加載</b>顯示<b class='flag-5'>模型</b>

    Buffer加載AI模型

    我們在進行CNN模型推理的時候,需要預先從DDR或者ROM中加載AI模型。大家平時一般用的是create from file的形式,為了保護自己的
    發表于 01-25 19:26 ?1次下載
    從<b class='flag-5'>Buffer</b><b class='flag-5'>加載</b><b class='flag-5'>AI</b><b class='flag-5'>模型</b>

    華為發布大模型時代AI存儲新品

    7月14日,華為發布大模型時代AI存儲新品, 為基礎模型訓練、行業模型訓練,細分場景模型訓練推理提供存儲最優解,釋放
    的頭像 發表于 07-14 15:20 ?776次閱讀
    華為發布大<b class='flag-5'>模型</b>時代<b class='flag-5'>AI</b>存儲新品

    盤古ai模型怎么使用

    怎么使用的具體步驟如下: 首先在盤古AI官網注冊并獲取API Key和Secret Key。 然后下載Python SDK,并按照說明安裝SDK。 最后編寫Python代碼,調用SDK實現相應的功能。 使用盤古AI
    的頭像 發表于 09-04 10:42 ?1.3w次閱讀

    AI模型對數據存儲技術的發展趨勢

    AI模型AI帶入新的發展階段。AI模型需要更高效的海量原始數據收集和預處理,更高性能的訓練數據加載
    發表于 10-23 11:26 ?933次閱讀
    <b class='flag-5'>AI</b>大<b class='flag-5'>模型</b>對數據存儲技術的發展趨勢

    如何使用Tensorflow保存或加載模型

    TensorFlow是一個廣泛使用的開源機器學習庫,它提供了豐富的API來構建和訓練各種深度學習模型。在模型訓練完成后,保存模型以便將來使用或部署是一項常見的需求。同樣,加載已保存的
    的頭像 發表于 07-04 13:07 ?1322次閱讀

    AI訓練的基本步驟

    AI(人工智能)訓練是一個復雜且系統的過程,它涵蓋了從數據收集到模型部署的多個關鍵步驟。以下是對AI訓練過程的詳細闡述,包括每個步驟的具體內
    的頭像 發表于 07-17 16:57 ?1752次閱讀