隨著新技術的不斷演進,人工智能已經廣泛地應用到教育、金融、物流、零售、交通、醫療等各個領域。而在AI高速發展的當下,高效開發變得更為重要,如何將創意想法與AI技術深度融合,迅速轉化為可落地的AI應用,是開發者在激勵競爭中制勝的關鍵。
當前,AI業務和算法模型都在持續快速演進,AI計算平臺適配新業務和新算法快速升級成為難題。
為了助力開發者快速上線新業務,為消費者提供新體驗,HUAWEI HiAI Foundation在華為開發者大會2021(HDC.Together)上發布了全新的技術特性——端云協同。端云協同是針對新業務場景算子以及已有典型業務場景算子,提供性能優化、快速升級平臺能力的解決方案。它具備可變的計算框架、廣適的模型結構,助力開發者快速支持新模型、上線新業務,讓消費者快速獲得端側AI帶來的體驗提升。
把算子庫放到云端,老手機“煥發新春“
首先,端云協同解決了舊手機的“新服務”難題。
以往,消費者想要體驗到最新的AI功能與服務,需要等算子庫更新,而算子庫內置在手機ROM中,手機新版本更新,算子庫才能隨之更新。但舊手機的版本更新次數會隨著時間遞減,甚至停止服務不再更新。如果手機版本不更新,算子庫升級則成為一道難題,消費者的體驗也會被延遲滿足。另外,新功能從開發到ROM升級的周期也是以數月計,極大影響新業務上線的周期。
端云協同能夠讓老手機用戶不受終端版本的限制,更靈活地享受更新、更優質的服務。基于華為端芯云三端打通的優勢——底層是計算芯片及HiAI Foundation,端側有預置的HiAI Engine,云側有自己的計算庫插件更新云,HiAI Foundation可以將算子庫放到云端。當有新支持的算子或性能優化發布后,HUAWEI HiAI Foundation會在閑時靜默自動更新新的算子庫,開發者只需在APP開發時正常調用,無感使用升級后的計算能力,讓老手機煥發新生機。
(HiAI Foundation端云協同示意圖)
把模型放到云端,開發者按需取用
其次,端云協同可以快速匹配開發者的需求,幫助其降低開發成本。
通常情況下,應用開發的理想狀態是,一個模型可以適用于所有類型的手機終端。雖然在CPU上運行模型可以達到這一目的,但以CPU為核心的傳統計算架構已經不能適應當前應用對計算性能的強勁需求,很多應用在NPU的強大算力下才能將功能發揮到極致。這個時候,就需要開發者針對NPU進行模型定制,但問題隨之而來,一方面,所有模型不可能打包在一個SDK里讓大家去下載;另一方面,API的大小會受到限制,開發困擾不減反增。
HiAI Foundation端云協同的解決方案支持開發者將模型放到云端,這樣既可以節省APP大小,又可以獨立針對芯片部署最佳模型,最大限度提升用戶體驗。而端云協同技術不會干擾到開發者的任何模型數據,真正建立起一個完整生態壁壘,助力各行業開發者加速業務應用落地。
(HiAI Foundation端云協同示意圖)
未來是智能主宰的時代。HiAI Foundation將利用這條端云協同的通路進一步放大端側AI能力,通過端云協同的算子搜索、融合策略、異構分段策略、FFTL等技術賦能NPU機型,快速且低成本解決開發者的技術難題,激發全球開發者的想象力和創造性,開發出更多新奇酷炫的全新玩法。
編輯:jq
-
cpu
+關注
關注
68文章
10826瀏覽量
211158 -
ROM
+關注
關注
4文章
562瀏覽量
85676 -
人工智能
+關注
關注
1791文章
46860瀏覽量
237587 -
SDK
+關注
關注
3文章
1026瀏覽量
45779
原文標題:新技術發布!HUAWEI HiAI Foundation端云協同助力開發者快速上線新業務
文章出處:【微信號:Huawei_Kirin,微信公眾號:華為麒麟】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論