精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Arm推動(dòng)生成式AI落地邊緣!全新Ethos-U85 AI加速器支持Transformer 架構(gòu),性能提升四倍

花茶晶晶 ? 來(lái)源:電子發(fā)燒友 ? 作者:黃晶晶 ? 2024-04-16 09:10 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)在嵌入式領(lǐng)域,邊緣與端側(cè)AI推理需求不斷增長(zhǎng),Arm既有Helium 技術(shù)使 CPU 能夠執(zhí)行更多計(jì)算密集型的 AI 推理算法,也有Ethos 系列 AI 加速器,以滿足更高性能和更復(fù)雜的 AI 工作負(fù)載。Ethos-U NPU系列是業(yè)界首款 AI 微加速器,英飛凌、恩智浦半導(dǎo)體、奇景光電 (Himax)、Alif Semiconductor 和 Synaptics 等領(lǐng)先企業(yè)均已推出搭載 Ethos-U 的量產(chǎn)芯片。最近,Arm發(fā)布Arm Ethos-U85 AI加速器,這款加速器在性能、算力、應(yīng)用場(chǎng)景方面進(jìn)一步拓展,著眼于未來(lái)幾年的邊緣AI的應(yīng)用所需。

全新Arm Ethos-U85 AI加速器

與上一代產(chǎn)品相比,Ethos-U85 性能提升四倍,能效提高 20%,它支持MAC 單元從 128 個(gè)擴(kuò)展到 2048 個(gè)(在 1GHz 時(shí),算力實(shí)現(xiàn) 4 TOPs)。Ethos-U85 提供了相同的一致工具鏈,實(shí)現(xiàn)無(wú)縫的開發(fā)者體驗(yàn)。全新 Ethos-U85 NPU 支持TensorFlow Lite 和 PyTorch 等 AI 框架。Ethos-U85可滿足于智能家居、零售、工業(yè)等新興的邊緣 AI 場(chǎng)景對(duì)更高性能計(jì)算的需求。

wKgZomYclwuAXCUGAAKIwINsqQs457.png
圖:Arm Ethos-U85 提供卓越的神經(jīng)網(wǎng)絡(luò)加速功能


Ethos-U85支持Transformer 架構(gòu)和卷積神經(jīng)網(wǎng)絡(luò) (CNN) 以實(shí)現(xiàn) AI 推理。Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁馬健Chloe Ma分析,Ethos-U85 不僅僅提供卷積神經(jīng)網(wǎng)絡(luò) (CNN) 所需的權(quán)重矩陣乘的運(yùn)算,還支持矩陣相乘,這是 Transformer 架構(gòu)網(wǎng)絡(luò)的一個(gè)基本組成部分。Ethos-U85 增加對(duì)Transformer 架構(gòu)網(wǎng)絡(luò)的支持,這是優(yōu)化大模型邊緣落地微調(diào)時(shí)間、提升模型泛化的一個(gè)關(guān)鍵特性。

馬健表示:“基于 Transformer 的模型具有優(yōu)異的泛化功能,它將更快地驅(qū)動(dòng)新 AI 應(yīng)用的發(fā)展。Transformer 在視覺(jué)和生成式 AI 用例中,比如視頻理解、圖文結(jié)合,圖像增強(qiáng)與生成、圖像分類和目標(biāo)檢測(cè)等方面都極有價(jià)值。Transformer 架構(gòu)網(wǎng)絡(luò)的注意力機(jī)制容易利用并行計(jì)算來(lái)實(shí)現(xiàn),提高硬件使用效率,使得這些模型能夠部署在計(jì)算資源有限的邊緣設(shè)備上。開發(fā)者可以通過(guò)選用針對(duì) Transformer 架構(gòu)網(wǎng)絡(luò)優(yōu)化的設(shè)計(jì),發(fā)掘邊緣 AI 的新機(jī)遇,使這些應(yīng)用享有更快的推理、更優(yōu)化的模型性能和可擴(kuò)展性。”

Ethos-U85 不僅支持低功耗MCU的AI加速。在高性能邊緣計(jì)算系統(tǒng)中,Ethos-U85與Armv9 Cortex-A CPU相結(jié)合,為基于應(yīng)用處理器智能物聯(lián)網(wǎng)平臺(tái)上運(yùn)行的AI任務(wù)實(shí)現(xiàn)加速。這將使 Ethos-U85 能夠在工業(yè)機(jī)器視覺(jué)、邊緣網(wǎng)關(guān)、可穿戴設(shè)備和消費(fèi)類機(jī)器人等應(yīng)用中,帶來(lái)高效能的邊緣推理。

全新Arm Corstone-320智能物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)

Corstone-320 包含了 Cortex-M 系列最高性能的嵌入式處理器 Cortex-M85,Ethos-U85 NPU AI 加速器以及Arm Mali-C55 ISP等,以實(shí)現(xiàn)為視覺(jué)應(yīng)用優(yōu)化的低功耗系統(tǒng)。與此前推出的Arm物聯(lián)網(wǎng)參考設(shè)計(jì)一致,Corstone-320 不僅僅提供芯片計(jì)算子系統(tǒng) IP 組合,還附帶了軟件、AI 模型庫(kù)和開發(fā)工具,以實(shí)現(xiàn)軟件的復(fù)用,同時(shí)也利用了 Arm 強(qiáng)大的生態(tài)系統(tǒng)。它還附帶了仿真 Corstone-320 完整系統(tǒng)的 Arm 虛擬硬件,以及單獨(dú)的 CPU 和 NPU 的固定虛擬平臺(tái) (FVP) 模型,以簡(jiǎn)化開發(fā)并加速產(chǎn)品設(shè)計(jì),支持軟硬件并行協(xié)同開發(fā)。這種提供邊緣 AI 和智能物聯(lián)網(wǎng)計(jì)算子系統(tǒng)全套軟硬件和工具鏈的方法,使得合作伙伴能夠在一系列性能點(diǎn)上快速開發(fā),并聚焦于打造差異化價(jià)值。

wKgZomYclyuAcbh3AAE7eIyZSLw925.png
圖:Arm 助力加速邊緣 AI 設(shè)備部署進(jìn)程


馬健介紹,全新的參考設(shè)計(jì)是針對(duì)實(shí)際工作負(fù)載開發(fā)的,參考用例包括部署在智能家居中的電池供電攝像系統(tǒng),以及在工業(yè)和零售系統(tǒng)中的低幀率網(wǎng)絡(luò)攝像頭。同時(shí),Corstone-320 參考設(shè)計(jì)提供了有安全保證的軟硬件組合,使得在此參考設(shè)計(jì)基礎(chǔ)上開發(fā)的合作伙伴們能夠順利地通過(guò) PSA Certified Level 2 認(rèn)證,實(shí)現(xiàn)對(duì)區(qū)域和全球安全標(biāo)準(zhǔn)的合規(guī)。總之,通過(guò) Corstone-320 預(yù)先集成、預(yù)先驗(yàn)證的參考設(shè)計(jì)模版,Arm 能幫助合作伙伴減少邊緣智能芯片開發(fā)的成本和時(shí)間。

基于 Arm 平臺(tái)的 AI 軟件生態(tài)系統(tǒng)

“只有 Arm 計(jì)算平臺(tái)才能提供 AI 從云到端、現(xiàn)代敏捷開發(fā)和部署流程中所需的特性和功能,實(shí)現(xiàn)基于量產(chǎn)驗(yàn)證的一致架構(gòu),并采用統(tǒng)一工具鏈完成AI 轉(zhuǎn)型。”馬健說(shuō)道。實(shí)際上,一致性的工具鏈和平臺(tái)對(duì)于開發(fā)者而言非常重要,尤其是面對(duì)物聯(lián)網(wǎng)碎片化,加上AI功能引入的復(fù)雜性,如果缺少一個(gè)良好的生態(tài)、工具支持,將耗費(fèi)開發(fā)者大量的開發(fā)時(shí)間。

隨著邊緣 AI 的持續(xù)擴(kuò)展,簡(jiǎn)單易用才更適于普及推廣,因此物聯(lián)網(wǎng)生態(tài)鏈上下游的芯片與系統(tǒng)供應(yīng)商、算法軟件開發(fā)者與集成商們匯聚在Arm計(jì)算平臺(tái)。目前,包括開發(fā)者、數(shù)據(jù)科學(xué)家、學(xué)術(shù)界在內(nèi)的 AI 研究開發(fā)社區(qū),不僅持續(xù)受益于 Arm 生態(tài)系統(tǒng)與合作伙伴提供的豐富信息與知識(shí),也圍繞 Arm 計(jì)算平臺(tái)構(gòu)建日益增長(zhǎng)的軟件和工具生態(tài)系統(tǒng),以及開源軟件庫(kù)和 AI 框架,以更簡(jiǎn)化的開發(fā)流程,擴(kuò)展邊緣 AI 的部署。

wKgZomYclzqAGsH9AAFhwlxkXtU102.png
圖:基于 Arm 平臺(tái)的 AI 軟件生態(tài)系統(tǒng)

馬健舉例說(shuō):“大家熟知的 PyTorch 開源 ML 框架,廣泛用于構(gòu)建和訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型,而我們也很高興看到 PyTorch 基金會(huì)投資邊緣 AI,發(fā)布針對(duì)移動(dòng)和邊緣設(shè)備推理工具包 ExecuTorch,提供了輕量級(jí)運(yùn)行時(shí) (Runtime) 和算子注冊(cè)表,覆蓋了PyTorch生態(tài)系統(tǒng)中的各類模型。此外,由于 Arm 特有的 IP 授權(quán)許可模式和開放生態(tài),OEM 和 ODM 可以有多種基于 Arm 架構(gòu)和計(jì)算平臺(tái)的芯片與模組選擇,更靈活地開發(fā)適于最終應(yīng)用的系統(tǒng)方案。”

小結(jié):

隨著邊緣 AI 的持續(xù)發(fā)展,Arm 始終處于推動(dòng)市場(chǎng)和技術(shù)進(jìn)步的核心地位,從 Cortex-M 嵌入式處理器的 Helium 矢量增強(qiáng)指令集,到 Cortex-A 應(yīng)用處理器的 SVE、SVE2、SME 對(duì)矢量和矩陣運(yùn)算的優(yōu)化,再到 Ethos-U AI 加速器,Arm 不斷豐富產(chǎn)品線并拉高性能。

馬健表示,Arm 不會(huì)止步于此。隨著大模型持續(xù)通過(guò)量化、剪枝和聚類技術(shù)來(lái)縮減優(yōu)化模型,使大模型適于在邊緣和超級(jí)終端設(shè)備部署,Arm認(rèn)為大小模型云邊端結(jié)合成為未來(lái) AI 產(chǎn)品的重要發(fā)展趨勢(shì),也是 AI 應(yīng)用賦能行業(yè)發(fā)展的重要方向。而 Arm 已經(jīng)為此做好準(zhǔn)備,來(lái)挑戰(zhàn)物聯(lián)網(wǎng)與大模型、多模態(tài) AI 結(jié)合的性能與效率極限。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • ARM
    ARM
    +關(guān)注

    關(guān)注

    134

    文章

    8967

    瀏覽量

    365080
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    28902

    瀏覽量

    266274
  • AI加速器
    +關(guān)注

    關(guān)注

    1

    文章

    66

    瀏覽量

    8606
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    華邦電子為邊緣設(shè)備打造生成AI性能

    在以大模型為基礎(chǔ)的云端 AI 廣泛賦能各行各業(yè)后,邊緣設(shè)備對(duì)于 AI 也釋放出巨大需求,AI 也在從云端向邊緣
    的頭像 發(fā)表于 08-19 16:14 ?483次閱讀

    芯品# 物聯(lián)網(wǎng)市場(chǎng)性能最高的 NPU

    提高數(shù)據(jù)隱私和安全性。 ArmEthos NPU 如何增強(qiáng)邊緣和端點(diǎn)的 AI 性能? 多年來(lái),Ar
    的頭像 發(fā)表于 06-26 17:28 ?3167次閱讀
    芯品# 物聯(lián)網(wǎng)市場(chǎng)<b class='flag-5'>性能</b>最高的 NPU

    進(jìn)一步解讀英偉達(dá) Blackwell 架構(gòu)、NVlink及GB200 超級(jí)芯片

    NVIDIA NVLink,支持 FP4 AI 精度。 GB200 NVL72是一款性能卓越的計(jì)算平臺(tái),采用更快的第二代Transformer引擎和FP8精度,可將大型語(yǔ)言模型的訓(xùn)練速
    發(fā)表于 05-13 17:16

    聯(lián)發(fā)科發(fā)布天璣AI開發(fā)套件,賦能終端生成AI應(yīng)用

    聯(lián)發(fā)科近日推出了全新的天璣AI開發(fā)套件,旨在為合作伙伴打造一站解決方案,以加速終端生成
    的頭像 發(fā)表于 05-10 11:19 ?460次閱讀

    Arm平臺(tái)賦能移動(dòng)端生成AI

    生成人工智能 (Generative AI) 涵蓋了當(dāng)下廣為人知,且備受關(guān)注的大語(yǔ)言模型 (LLM),如今也已落地邊緣側(cè)的移動(dòng)設(shè)備。
    的頭像 發(fā)表于 04-26 11:09 ?687次閱讀

    Arm發(fā)布新一代Ethos-U AI加速器 Arm旨在瞄準(zhǔn)國(guó)產(chǎn)CPU市場(chǎng)

    Arm發(fā)布的新一代Ethos-U AI加速器確實(shí)在業(yè)界引起了廣泛關(guān)注。
    的頭像 發(fā)表于 04-18 15:59 ?613次閱讀

    Arm推第三代邊緣AI加速器Arm Ethos-U85

    除了Ethos-U85之外,Arm還推出了全新的物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)Corstone-320。該平臺(tái)將Arm最高性能的Cortex-M
    發(fā)表于 04-16 11:09 ?569次閱讀
    <b class='flag-5'>Arm</b>推第三代<b class='flag-5'>邊緣</b><b class='flag-5'>AI</b><b class='flag-5'>加速器</b>:<b class='flag-5'>Arm</b> <b class='flag-5'>Ethos-U85</b>

    Arm發(fā)布第三代NPU,適用于工業(yè)自動(dòng)化等場(chǎng)景,性能提升四倍

    Ethos-U85 在能源效率上相比前作提高了 20%,且可兼容常用神經(jīng)網(wǎng)絡(luò)以達(dá) 85% 的利用率。其設(shè)計(jì)適配基于 Arm Cortex-M / A 處理內(nèi)核的系統(tǒng),對(duì)內(nèi)存延遲有較強(qiáng)
    的頭像 發(fā)表于 04-12 16:13 ?811次閱讀

    AMD Versal SoC全新升級(jí)邊緣AI性能,單芯片方案驅(qū)動(dòng)嵌入系統(tǒng)

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)邊緣AI應(yīng)用需要更多的高性能計(jì)算和算力的支持,AMD的Versal和Zynq系列產(chǎn)品一直支持醫(yī)療、交通、智能零
    的頭像 發(fā)表于 04-09 21:32 ?862次閱讀
    AMD Versal SoC<b class='flag-5'>全新</b>升級(jí)<b class='flag-5'>邊緣</b><b class='flag-5'>AI</b><b class='flag-5'>性能</b>,單芯片方案驅(qū)動(dòng)嵌入<b class='flag-5'>式</b>系統(tǒng)

    Arm Ethos-U85:滿足物聯(lián)網(wǎng)面向AI時(shí)代的高性能需求

    隨著人工智能 (AI) 不斷對(duì)我們的日常生活產(chǎn)生越來(lái)越大的影響,其推理任務(wù)也逐漸從云端遷移到邊緣側(cè)和端側(cè)。
    的頭像 發(fā)表于 04-09 17:04 ?856次閱讀
    <b class='flag-5'>Arm</b> <b class='flag-5'>Ethos-U85</b>:滿足物聯(lián)網(wǎng)面向<b class='flag-5'>AI</b>時(shí)代的高<b class='flag-5'>性能</b>需求

    Arm推出新一代Ethos-U AI加速器全新物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)

    Arm 控股有限公司(納斯達(dá)克股票代碼:ARM,以下簡(jiǎn)稱“Arm”)今日宣布推出 Arm Ethos-U85 神經(jīng)網(wǎng)絡(luò)處理
    的頭像 發(fā)表于 04-09 17:02 ?765次閱讀
    <b class='flag-5'>Arm</b>推出新一代<b class='flag-5'>Ethos-U</b> <b class='flag-5'>AI</b><b class='flag-5'>加速器</b>及<b class='flag-5'>全新</b>物聯(lián)網(wǎng)參考設(shè)計(jì)平臺(tái)

    Hailo獲1.2億美元新融資,首發(fā)AI加速器Hailo-10,助力邊緣設(shè)備實(shí)現(xiàn)生成人工智能

    引入邊緣計(jì)算領(lǐng)域,為行業(yè)發(fā)展注入新動(dòng)力。 邊緣人工智能處理的領(lǐng)先芯片制造商Hailo近日宣布C輪融資再獲1.2億美元投資。與此同時(shí),Hailo還推出創(chuàng)新型Hailo-10高性能
    的頭像 發(fā)表于 04-03 11:57 ?224次閱讀

    Tenstorrent將為日本LSTC新型邊緣2納米AI加速器開發(fā)芯片

    加拿大AI芯片領(lǐng)域的初創(chuàng)公司Tenstorrent與日本尖端半導(dǎo)體技術(shù)中心(LSTC)達(dá)成了一項(xiàng)多層次合作協(xié)議。根據(jù)協(xié)議內(nèi)容,LSTC將采用Tenstorrent的世界級(jí)RISC-V架構(gòu)和芯片IP來(lái)開發(fā)其新型邊緣2納米人工智能
    的頭像 發(fā)表于 02-28 10:49 ?538次閱讀

    家居智能化,推動(dòng)AI加速器的發(fā)展

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)AI加速芯片,也稱為人工智能加速器AI Accelerator),是一種專為執(zhí)行機(jī)器學(xué)習(xí)和深度學(xué)習(xí)任務(wù)而設(shè)計(jì)的ASIC或定制化處理
    的頭像 發(fā)表于 02-23 00:18 ?4407次閱讀

    利用 NVIDIA Jetson 實(shí)現(xiàn)生成 AI

    近日,NVIDIA 發(fā)布了 Jetson 生成 AI 實(shí)驗(yàn)室(Jetson Generative AI Lab),使開發(fā)者能夠通過(guò) NVIDIA Jetson
    的頭像 發(fā)表于 11-07 21:25 ?775次閱讀
    利用 NVIDIA Jetson 實(shí)現(xiàn)<b class='flag-5'>生成</b><b class='flag-5'>式</b> <b class='flag-5'>AI</b>