精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

生成式AI加速向終端側(cè)演進,NPU、異構(gòu)計算提供強大算力支持

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-03-16 00:16 ? 次閱讀

電子發(fā)燒友網(wǎng)報道(文/李彎彎)生成式AI是一種通過學習大規(guī)模數(shù)據(jù)集生成新的原創(chuàng)內(nèi)容的新型AI。Bloomberg Intelligence最新報告預測,未來10年內(nèi),生成式AI市場規(guī)模將從2022年的400億美元,增長至2032年的1.3萬億美元,年復合增速達到42%。

生成式AI向終端快速演進

當前大部分生成式AI的開發(fā)工作都集中在云端,然而生成式AI正朝著直接在終端上運行的方向快速演進。高通公司總裁兼CEO安蒙前不久談到,生成式AI將變革終端側(cè)的用戶體驗,具備生成式AI能力的PC能夠更好地理解用戶需求,生成式AI還將帶來全新的人車交互方式,支持用戶與汽車直接進行對話。他認為,生成式AI將為各行各業(yè)帶來全新機遇。

近段時間,生成式AI在手機、PC等終端設備上已經(jīng)有不少用例。最近推出的新手機,就有不少生成式AI的應用,比如,OPPO Find X7Ultra的AIGC消除功能,即可極大幅度的降低拍照廢片率,一些路人突然出現(xiàn)的照片,就可以通過該功能成功拯救。三星Galaxy S24系列的通話實時語音翻譯和同傳功能,支持了13種語言之間的無縫翻譯,出國旅行也可輕松交流。

在前不久的MWC展會期間,高通也在現(xiàn)場展示了大量生成式AI的應用案例。相比此前發(fā)布的一些手機的AI功能,高通在MWC現(xiàn)場所展示的AI功能更為神奇。如,在圖像生成上,完全不需要一長串的文字標簽,只要給出一個比較準確的描述,Stable Diffusion即可快速生成圖片,與描述相差無幾。比如輸入“一只可愛的卷毛貓”,小龍手機僅耗時不到7秒,就生成了一張卷毛貓在室內(nèi)的照片,效果十分真實。

另外,圖片生成還能根據(jù)個人或藝術(shù)偏好,加入自定義元素來展現(xiàn)風格效果。比如在加入“水晶”關鍵詞,并設定好風格權(quán)重后,模型就會添加水晶元素,最終生成的圖片就很有賽博風格了。這種使用方式很具想象力,它可以用來制作表情包,甚至在創(chuàng)作平面、視頻內(nèi)容缺素材時,也能運用AI快速生成符合要求的素材。

異構(gòu)計算對端側(cè)生成式AI的重要性

而這些生成式AI功能在終端設備上的應用離不開芯片的支持。高通認為,對于端側(cè)生成式AI來說,異構(gòu)計算是必要條件。高通在此次MWC 展示的Stable Diffusion快速生成圖片,完全依靠端側(cè)算力,它需要NPU進行推理,需要GPU進行圖像渲染,也正是在異構(gòu)運算的幫助下,才能快速里完成圖片生成,并且能夠保持低功耗,保持手機終端的高電池續(xù)航。

近日,高通在其發(fā)布的《通過NPU和異構(gòu)計算開啟終端側(cè)生成式AI》報告中,深入闡述了NPU與異構(gòu)計算,對端側(cè)生成式AI使用的重要性。

高通公司提出,隨著生成式AI用例需求在有著多樣化要求和計算需求的垂直領域不斷增加,需要專為AI定制設計的全新計算架構(gòu)。這首先需要一個面向生成式AI全新設計的神經(jīng)網(wǎng)絡處理器(NPU),同時要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器,異構(gòu)計算能夠?qū)崿F(xiàn)最佳應用性能、能效和電池續(xù)航,賦能全新增強的生成式AI體驗。

NPU專為實現(xiàn)以低功耗加速AI推理而全新打造,其架構(gòu)隨著新AI算法、模型和用例的發(fā)展不斷演進。AI運算上的主要負載是由標量、向量和張量的數(shù)學運算,雖說CPU也能對此進行處理,不過處理速度和功耗方面都不理想。NPU正是針對AI運算所打造的新處理單元,高通在2015年推出的第一代AI引擎,在Hexagon NPU集成了標量和向量運算核心,之后又加入了張量運算核心,從而極大加快了AI處理速度,并使AI運算處理的功耗大幅度降低。

寫在最后

如今,生成式AI已經(jīng)在終端側(cè)展示出它的價值,隨著生成式AI在終端側(cè)運行的加速,這一趨勢也將推動終端的進一步創(chuàng)新,有望為手機、PC等消費電子市場帶來新一輪生機。同時,生成式AI在終端側(cè)的運行需要極大的算力,這也是目前業(yè)界需要解決的重大問題。


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關注

    關注

    87

    文章

    30239

    瀏覽量

    268472
收藏 人收藏

    評論

    相關推薦

    芯片 高性能 CPUGPUNPU 微架構(gòu)分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    線程調(diào)度,與Hopper架構(gòu)的細粒度同步機制,使得異構(gòu)計算場景下的任務協(xié)同更加靈活。在我的分布訓練實踐中,這些特性顯著提升了模型收斂速度。 張量處理器的設計是本書點睛之筆。從數(shù)學抽象來看,張量統(tǒng)一了
    發(fā)表于 11-24 17:12

    企業(yè)AI租賃是什么

    企業(yè)AI租賃是指企業(yè)通過互聯(lián)網(wǎng)專業(yè)的提供
    的頭像 發(fā)表于 11-14 09:30 ?182次閱讀

    芯片 高性能 CPU/GPU/NPU 微架構(gòu)分析》第1-4章閱讀心得——之巔:從基準測試到CPU微架構(gòu)的深度探索

    向量擴展)指令集采用了可變長度向量的創(chuàng)新設計,為不同應用場景提供了靈活的SIMD支持。矩陣加速指令集的出現(xiàn),如Intel的AMX,直接針對深度學習等應用中的矩陣運算進行優(yōu)化,體現(xiàn)了通用CPU
    發(fā)表于 10-19 01:21

    【「芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析」閱讀體驗】--全書概覽

    本帖最后由 1653149838.791300 于 2024-10-16 22:19 編輯 感謝平臺提供的書籍,厚厚的一本,很有分量,感謝作者的傾力付出成書。 本書主要講芯片CPU
    發(fā)表于 10-15 22:08

    芯原聯(lián)合主辦RISC-V和生成AI論壇

    隨著生成AI技術(shù)的快速演進,相關應用已開始各行業(yè)滲透,AI模型在云
    的頭像 發(fā)表于 09-29 09:48 ?226次閱讀

    百度百舸AI計算平臺4.0震撼發(fā)布

    在2024年百度云智大會的璀璨舞臺上,百度智能云重磅推出了百舸AI異構(gòu)計算平臺的全新力作——4.0版本。此次升級,標志著百度在AI基礎設施領域邁出了堅實的一步,致力于為行業(yè)提供更為
    的頭像 發(fā)表于 09-26 14:46 ?421次閱讀

    名單公布!【書籍評測活動NO.43】 芯片 | 高性能 CPU/GPU/NPU 微架構(gòu)分析

    ,在全球范圍內(nèi),對于推動科技進步、經(jīng)濟發(fā)展及社會整體的運作具有至關重要的作用。隨著信息技術(shù)的高速發(fā)展,高性能計算(HPC)和人工智能(AI)等技術(shù)在多個領域的應用變得日益廣泛,芯片
    發(fā)表于 09-02 10:09

    ARMxy ARM嵌入式計算機搭載 1 TOPS NPU支持深度學習

    ARMxy ARM嵌入式計算機BL410系列內(nèi)置了1TOPS NPU,它每秒可以執(zhí)行高達一萬億次的浮點運算,這為復雜的圖像處理和深度學習任務提供
    的頭像 發(fā)表于 08-20 11:53 ?304次閱讀
    ARMxy ARM嵌入<b class='flag-5'>式計算</b>機搭載 1 TOPS <b class='flag-5'>NPU</b><b class='flag-5'>支持</b>深度學習

    安謀科技異構(gòu)組合,破局生成AI挑戰(zhàn)

    ,“此芯P1”不僅異構(gòu)集成了Armv9 CPU核心與Arm Immortalis GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業(yè)務產(chǎn)品。憑借高能效的異構(gòu)
    的頭像 發(fā)表于 08-13 09:12 ?523次閱讀

    安謀科技異構(gòu)賦能AI計算,此芯科技首款AI PC芯片發(fā)布

    底座,“此芯P1”不僅異構(gòu)集成了Arm?v9 CPU核心與Arm Immortalis? GPU,還搭載了安謀科技(中國)有限公司(以下簡稱“安謀科技”)“周易”NPU等自研業(yè)務產(chǎn)品。憑借高能效的異構(gòu)
    發(fā)表于 07-31 14:36 ?1006次閱讀
    安謀科技<b class='flag-5'>異構(gòu)</b><b class='flag-5'>算</b><b class='flag-5'>力</b>賦能<b class='flag-5'>AI</b><b class='flag-5'>計算</b>,此芯科技首款<b class='flag-5'>AI</b> PC芯片發(fā)布

    異構(gòu)計算:解鎖潛能的新途徑

    在這個數(shù)據(jù)爆炸的時代,計算力是推動社會與科技創(chuàng)新的核心。從日常智能設備的流暢運行到超級計算機的尖端模擬,均依賴強大計算能力。但面對多樣化的復雜計算
    的頭像 發(fā)表于 07-18 08:28 ?7790次閱讀
    <b class='flag-5'>異構(gòu)計算</b>:解鎖<b class='flag-5'>算</b><b class='flag-5'>力</b>潛能的新途徑

    NPU是什么?為何它是開啟終端側(cè)生成AI的關鍵?

    ),同時要利用異構(gòu)處理器組合,比如中央處理器(CPU)和圖形處理器(GPU)。通過結(jié)合NPU使用合適的處理器,異構(gòu)計算能夠?qū)崿F(xiàn)最佳應用性能、能效和電池續(xù)航,賦能全新增強的生成
    的頭像 發(fā)表于 03-07 11:25 ?2039次閱讀
    <b class='flag-5'>NPU</b>是什么?為何它是開啟<b class='flag-5'>終端</b><b class='flag-5'>側(cè)</b><b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>的關鍵?

    高通NPU異構(gòu)計算提升生成AI性能?

    異構(gòu)計算的重要性不可忽視。根據(jù)生成AI的獨特需求和計算負擔,需要配備不同的處理器,如專注于AI
    的頭像 發(fā)表于 03-06 14:15 ?741次閱讀

    燧原科技與青云科技達成戰(zhàn)略合作,創(chuàng)新異構(gòu)調(diào)度

    ,AIGC內(nèi)容生成類模型正在重構(gòu)互聯(lián)網(wǎng)商業(yè)模式,催生數(shù)字經(jīng)濟新突破。隨著計算任務的多樣化和復雜化,更為高效和靈活的異構(gòu)計算是未來的發(fā)展方向。燧原的“云燧智集群”與青云
    的頭像 發(fā)表于 12-11 12:20 ?618次閱讀

    浪潮信息劉軍:智力系統(tǒng)創(chuàng)新 加速生成AI產(chǎn)業(yè)發(fā)展

    北京2023年12月6日?/美通社/ --?11月29日,在北京舉行的2023人工智能計算大會(AICC)上,浪潮信息高級副總裁劉軍在主題演講《智力系統(tǒng)創(chuàng)新 加速生成
    的頭像 發(fā)表于 12-06 14:08 ?931次閱讀
    浪潮信息劉軍:智<b class='flag-5'>算</b>力系統(tǒng)創(chuàng)新 <b class='flag-5'>加速</b><b class='flag-5'>生成</b><b class='flag-5'>式</b><b class='flag-5'>AI</b>產(chǎn)業(yè)發(fā)展