當前,AI大模型走向端側已經是大勢所趨,端側AI的發展將推動人工智能成為影響世界的第四次工業革命。與傳統的云端大模型相比,端側大模型擁有更小的參數體量和更垂直的訓練數據。對于終端產品而言,端側AI將成為和系統同樣重要的存在,如果說電路是連接身體的“血管”,那么AI就將成為終端的智慧“大腦”。
?加速演進,大模型加速走向端側
從手機移動端開始,端側AI正逐步在車載、PC以及各類可穿戴設備等終端落地,端云協作的混合AI模式成為未來人工智能發展的主要方向。AI Agent、具身智能、人機協同、生成式智能體等LLM(大語言模型)的主要研究方向均對模型的性能和運行條件提出了新的要求。
為推動AI與各行業的深度融合,AI大模型正通過模型剪枝、知識蒸餾和量化技術進行不斷精簡和提升數據質量,端側硬件也在不斷提升端側算力和優化結構。如面向AI設計的神經網絡處理器(NPU)、提高性能和降低功耗的異構計算技術,軟件與硬件的協同發展正在加速端側AI部署,賦能全新增強的AI體驗。
▲圖片來源:高通中國官方公眾號
從行業趨勢來看,今年10月,高通公司發布全新旗艦芯片產品驍龍8至尊版,搭載第二代定制的Oryon CPU、全新切片架構的Adreno GPU和增強的Hexagon NPU。Oryon CPU擁有2個主頻高達4.32GHz的超級內核和6個主頻3.53GHz的性能內核,支持面向端側AI計算的高達10.7Gbps速率的LPDDR5X內存;全新的Hexagon NPU,AI性能提升45%,每瓦特性能提升45%,支持70+ tokens/sec的輸入,首次支持終端側個性化多模態AI助手,能夠賦能規模更大且更加復雜的多模態生成式AI用例在終端側高效運行。驍龍8至尊系列新產品的發布,也在一定程度上表明了未來數字化發展的方向,即垂直的硬件適配、不斷提升的端側算力和更強悍的綜合性能。
AI與千行百業的融合發展,被行業稱為“AI+”時代。作為全球領先的無線通信模組及解決方案提供商,美格智能圍繞AI+時代的算力、算法、數據、用例四大重要因素,以豐厚研發經驗和創新實力助力端側AI落地,為全球數字化發展貢獻重要力量。
?智算領先,以澎湃算力承接大模型落地
從開創到引領,美格智能以端側算力為切入點,行業率先打造高算力AI模組矩陣,憑借優質的產品品質和定制化服務能力受到行業客戶的一致好評。算力是端側AI運行的基座,針對不同客戶對算力、功耗、尺寸的要求,美格智能打造包含SNM973、SNM932、SNM950、SNM960、SNM970、SNM952、SNM962、SNM972等系列模組,AI算力覆蓋12Tops~48Tops,涵蓋入門級、中端、旗艦級多層次算力水平,能夠適應不同行業和應用場景的需求。同時在高算力AI模組的基礎上,美格智能團隊正不斷與行業領先的SoC陣列式服務器客戶密切合作,相關產品成為各類端側通用AI、邊緣計算AI服務器的優質選擇,憑借高性能和高性價比助力邊緣側AI部署,推動邊緣側算力發展。
隨著以智能座艙和“端到端”的自動駕駛為代表的車載大模型應用需求逐步提升,美格智能也在不斷加強技術創新研發,正逐步打造綜合AI算力超過100Tops的尖端AI模組,為更強力的端側AI落地和更廣闊的應用場景提供澎湃算力。
?加速部署,以技術實力打通模型部署通路
AI技術的引進為產業終端提質增效起到重要作用,而如何快速地將算法與終端進行適配和部署是每一個終端廠商無法避免的課題。為此,美格智能以自身研發實力為基礎搭建試驗平臺,自主進行大語言模型運行驗證,行業內首家在端側算力模組上運行文生圖大語言模型Stable Diffusion,并先后驗證運行LLaMA-2、通義千問Qwen、百川大模型、RedPajama、ChatGLM2等眾多中英文大語言模型,以實際用例為客戶打通模型部署通路。
此外,為幫助客戶更快速地打造更加垂直的模型應用,在模型算法優化方面,美格智能為行業客戶打造AI算法部署服務APP——MEIG AI,內置多個模型和算法,客戶在APP上即可完成AI算法在不同美格智能模組平臺的應用驗證,并為客戶和開發者提供開發文檔和算法轉換、集成的相關視頻教程,幫助理解App結構、代碼和模型,提高開發效率。在模型部署方面,美格智能攜手行業合作伙伴打造AIMO(AI模型優化器),實現一站式模型轉寫,僅使用Python即可開發部署AI應用,有效降低開發門檻,大幅縮短模型落地周期,節約開發投入。
值得一提的是,為推動全行業各領域端側AI技術的應用和開發落地,美格智能基于高算力AI模組,打造SNM970、SNM932等高算力AI模組面向開發者套件。豐富的硬件接口和軟件的開發套件,能夠廣泛適配各類應用場景,為客戶產品原型開發,性能驗證提供助力,完整的操作指引能夠顯著降低開發難度,加速終端開發周期,有效節省客戶產品迭代的二次開發投入。
?應用先行,以廣泛用例助力端側AI生態發展
當前美格智能高算力AI模組、智能模組已在海量應用終端廣泛落地,成為推動端側AI高速發展和布局的重要推動。如在具身智能領域,基于美格智能高算力AI模組的解決方案為行業領先的人形機器人提供充足算力,為打造“端到端”的AI機器人提供支持;在AR/AI眼鏡領域,美格智能與國際知名AR/AI眼鏡品牌客戶合作,基于高算力AI模組開發的新一代AR眼鏡產品,在系統能力、AI性能方面較上一代產品顯著提升;在無人機智控領域,美格智能與國內領先的高端無人機品牌攜手,以高算力AI模組賦能無人機智控、圖像追蹤技術、實時3D渲染、高速圖傳等領域,共同打造行業領先的智能無人機產品;在AI+醫療領域,基于高算力AI模組為行業頭部客戶及海外客戶研發AI掌上超聲終端、手持式血液快速檢測終端等,以AI助力移動醫療快速發展。
端側AI能力是實現AI全球規模化擴展的關鍵,在全產業鏈的推動下,用戶對AI功能的接受程度和期待也進一步提升,端側大模型的發展不僅帶動了消費市場的升級,也讓產業鏈上下游的合作更加緊密。美格智能憑借行業領先的產品研發和創新實力,以及豐厚的解決方案用例,成為全球端側AI產業鏈中的重要一環。面向未來的廣闊市場,美格智能也將攜手行業合作伙伴,為客戶提供更高算力、高性能、高性價比的模組產品和解決方案,助力端側AI生態高速、健康發展。
審核編輯 黃宇
-
AI
+關注
關注
87文章
30146瀏覽量
268414 -
美格智能
+關注
關注
2文章
241瀏覽量
11101
發布評論請先 登錄
相關推薦
評論