精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

RISC-V新CPU為端側大模型落地應用提供新范式

RISCV國際人才培養認證中心 ? 2024-11-20 01:08 ? 次閱讀

縱觀歷史,但凡能夠大幅提升生產力的技術必將大規模應用并深刻改變社會發展進程。以大模型為代表的新AI第一次使智能體具備了主動學習和泛化能力,為生產力的發展帶來質的飛躍,未來數字世界和物理世界的絕大多數事物都將接入大模型新AI,進行智能化升級,引發新一輪工業革命。

互聯網和移動互聯網的發展歷史表明,越貼近用戶,其應用場景越大,產業價值越高。大模型最大的應用場景在終端和邊緣端。未來所有的終端和邊緣端設備都值得用大模型重新做一遍,為數十萬億規模的電子信息制造業提供增量市場和高質量發展的機遇。

大模型需要在資源有限的終端設備上高效運行,對芯片的AI部署通用性、易用性、經濟性等提出了更高的要求。進迭時空的實踐表明,RISC-V作為開源開放的下一代計算架構,以通用CPU核為基礎,結合少量DSA定制和大量微架構創新,不僅具備完整CPU功能,更擁有強大的原生AI算力,可以為端側大模型落地應用提供全新的解決方案。

1

RISC-V新CPU提供強大的AI通用性

進迭時空SpacemiT Key StoneK1憑借其開放性和可編程性,能夠輕松接入ONNXRuntime等主流開源生態。這一特性不僅降低了部署大量現有AI模型的門檻,還天然支持了timm、onnx modelzoo、ppl modelzoo等開源模型倉庫的模型,以及所有的公開onnx模型。這意味著,無論是傳統的小模型還是當下火熱的大模型,如qwen系列、llama系列、minicpm系列、phi系列、chatglm系列、gemma系列等,都能在這款AI CPU上得到高效支持。

尤其是,進迭時空SpacemiT Key StoneK1的原生AI算力具有極強的可編程性,支持主流低bit量化方式,從而極大地降低了大模型的帶寬需求。K1芯片運行主流的5億參數大模型可以實現每秒20個token的優異性能。

2

RISC-V新CPU提供強大的AI便捷性

借助主流開源生態,進迭時空不僅擴充了模型倉庫,還實現了低成本的遷移ONNXRuntime生態中的各種案例。此外,通過云端通用AI助手,用戶只需通過自然語言描述,即可實現AI部署。由于AI CPU支持全集ONNX算子,用戶只需修改模型路徑和攝像頭設備號,即可成功進行部署,極大地簡化了操作流程。

3

RISC-V新CPU構建本地大模型推理應用

進迭時空在SpacemiT Key StoneK1芯片上構建了以通義千問(qwen2.5-1.5B-coder)為基礎的本地AI助手。借助本地AI助手,用戶可以通過自然語言描述實現AI部署,無需依賴網絡連接,進一步提升了AI應用的便捷性和安全性。



未來,進迭時空將繼續堅持RISC-V+AI技術路線,通過技術創新帶來更具競爭力的解決方案,為大模型在終端和邊緣端的普及提供強有力的支持。


來源:進迭時空

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • cpu
    cpu
    +關注

    關注

    68

    文章

    10824

    瀏覽量

    211133
  • RISC-V
    +關注

    關注

    44

    文章

    2228

    瀏覽量

    46025
  • 大模型
    +關注

    關注

    2

    文章

    2322

    瀏覽量

    2479
收藏 人收藏

    評論

    相關推薦

    RISC-V,即將進入應用的爆發期

    RISC-V是一種開放標準指令集架構 (ISA),最初由加州大學伯克利分校的研究人員于2010年開發。業界稱,這種開源特性芯片設計者提供了極大的靈活性,可以根據具體需求定制AI加速器。 而AI
    發表于 10-31 16:06

    加入全球 RISC-V Advocate 行列,共筑 RISC-V 的未來 !

    加入RISC-VAdvocate行列!我們正在尋找來自世界各地的RISC-V愛好者,通過全球推廣和參與,成為支持RISC-V進步的關鍵參與者。作為一名RISC-VAdvocate,您將
    的頭像 發表于 09-10 08:08 ?311次閱讀
    加入全球 <b class='flag-5'>RISC-V</b> Advocate 行列,共筑 <b class='flag-5'>RISC-V</b> 的未來 !

    RISC-V Summit China 2024 青稞RISC-V+接口PHY,賦能RISC-V高效落地

    沁恒在歷屆峰會上分享RISC-V在MCU領域的創新成果,和大家共同見證了本土RISC-V產業的成長。早在第一屆RISC-V中國峰會上,沁恒就公開了青稞RISC-V系列量產芯片的關鍵技術
    的頭像 發表于 08-30 18:18 ?1377次閱讀
    <b class='flag-5'>RISC-V</b> Summit China 2024  青稞<b class='flag-5'>RISC-V</b>+接口PHY,賦能<b class='flag-5'>RISC-V</b>高效<b class='flag-5'>落地</b>

    RISC-V Summit China 2024 | 青稞RISC-V+接口PHY,賦能RISC-V高效落地

    裝,針對各式客戶量體裁衣。 07 免費專業開發環境 MRS讓RISC-V落地更省 沁恒重視廣大工程師群體,通過配套、完善RISC-V的開發工具,客戶
    發表于 08-30 17:37

    2024 RISC-V 中國峰會:華秋電子助力RISC-V生態!

    百家業界領先企業及頂尖研究機構的專家學者,吸引了約3000名開發者、學者及行業精英親臨現場。在峰會前后,還策劃了超過20場豐富多彩的同期活動,全球開發者提供了一個深入交流、碰撞思想、共謀RISC-V
    發表于 08-26 16:46

    risc-v的發展歷史

    本的RISC-V指令集架構,即RISC-V v2.0。這個版本32位和64位的RISC-V架構定義了基本的指令集,并概述了未來的擴展指令集
    發表于 07-29 17:20

    建設進展 | 全球首家 RISC-V 開源創新中心落地深圳

    創新中心】應運而生,即將落地!【RISC-V開源創新中心】是全球首家RISC-V線下載體,致力于打造全球領先的開源芯片產業高地。中心以項目合作、政策申報、人才培訓、
    的頭像 發表于 07-25 08:36 ?370次閱讀
    建設進展 | 全球首家 <b class='flag-5'>RISC-V</b> 開源創新中心<b class='flag-5'>落地</b>深圳

    RISC-V為何如此重要?

    本文由半導體產業縱橫(ID:ICVIEWS)編譯自xda-developersRISC-V正在緩慢而悄然地改變CPU市場。RISC-V在過去幾年中一直是行業流行語,它正在慢慢改變半導體市場。但是
    的頭像 發表于 04-29 08:28 ?341次閱讀
    <b class='flag-5'>RISC-V</b>為何如此重要?

    IC咖啡沙龍“芯未來”公益講座丨仇健樂:RISC-V指令架構賦能智能芯片產業化落地

    4月18日,由張江高科、IC咖啡聯合主辦的“芯未來”公益講座【2024第十場】“RISC-V指令架構賦能智能芯片產業化落地”如約開講。本次講座榮幸邀請到時擎科技研發副總裁仇健樂先生
    的頭像 發表于 04-24 08:16 ?301次閱讀
    IC咖啡沙龍“芯未來”公益講座丨仇健樂:<b class='flag-5'>RISC-V</b>指令架構賦能<b class='flag-5'>端</b><b class='flag-5'>側</b>智能芯片產業化<b class='flag-5'>落地</b>

    解鎖RISC-V技術力量丨曹英杰:RISC-V與大模型探索

    助力RISC-V開發等話題,多位業內嘉賓發表了主旨演講。會上,時擎科技高級技術總監曹英杰以“RISC-V與大模型探索”題,將大模型作為切入
    的頭像 發表于 04-16 08:16 ?637次閱讀
    解鎖<b class='flag-5'>RISC-V</b>技術力量丨曹英杰:<b class='flag-5'>RISC-V</b>與大<b class='flag-5'>模型</b>探索

    RISC-V廠商正在AI領域積極布局!

    、精簡、可拓展的優勢,發展高性能、低功耗的邊緣AI推理芯片提供了充足空間。 ? AI 正在成為
    的頭像 發表于 04-09 00:13 ?4425次閱讀
    <b class='flag-5'>RISC-V</b>廠商正在AI領域積極布局!

    瑞薩推出采用自研CPU內核的通用32位RISC-V MCU 加強RISC-V生態系統布局

    瑞薩推出采用自研CPU內核的通用32位RISC-V MCU 加強RISC-V生態系統布局 RISC-V MCU開發人員帶來低功耗、高性能的
    發表于 03-28 19:00 ?502次閱讀

    RISC-V 基礎學習:RISC-V 基礎介紹

    免費使用這套規范,構建CPU 芯片產品。 9.2 指令集命名方式 以RV 2前綴,然后是位寬,最后代表是指令集的字母集合: RV[###][abc......xyz] 符號 說明 RV RISC-V
    發表于 03-12 10:25

    Imagination:RISC-V CPU的重要力量

    根據SHD集團最近發布的報告顯示,RISC-V正全速發展中。通過分析從2021年到2030年這十年間RISC-V核在不同應用和功能領域的潛在市場,作者RichWawrzyniak得出結論稱,到
    的頭像 發表于 03-07 08:26 ?729次閱讀
    Imagination:<b class='flag-5'>RISC-V</b> <b class='flag-5'>CPU</b>的重要力量

    RISC-V內核突破百億顆 RVV1.0如何解鎖AI市場應用潛能

    的是,在2022年出貨的RISC-V內核中,有一半來自于中國市場。中國工程院院士倪光南表示,開源RISC-V在中國具有超大規模的市場、豐富的應用場景和龐大的工程師群體推動下,已成為中國最受歡迎的CPU
    發表于 12-01 13:17