日前,華為全聯接大會 2023 在上海召開。華為云 CTO 張宇昕在大會上發布了基于 Serverless 技術的大模型應用開發框架,框架以面向 AI 領域全新升級的 FunctionGraph3.0 為核心,將 BaaSforAI后端和開放平臺快速無縫集成,助力企業輕松商用 AI 應用。
在“全域 Serverless+AI加速應用創新”專題演講上,華為云首席產品官方國偉、華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜,分享了 Serverless 和 AI 如何結合的前沿理念和實踐,深度解析華為云在 Serverless 領域核心產品及基于元戎架構構建的分布式內核能力,為開發者打造 ServerlessAI 極優體驗,幫助企業加速應用創新;廣聯達科技股份有限公司首席業務專家/副總裁祁長福分享了在建筑行業,如何基于華為云 Serverless 產品 FunctionGraph 優化 AI 應用開發,提升交付效率。
全域 Serverless 為千行萬業深度用云
帶來新體驗
方國偉介紹,在 AI 時代背景下,軟件開發的方式由以代碼為中心,走向以模型為中心,如何將 AI 大模型能力充分利用起來,是當下云廠商積極探索的事情。
華為云首席產品官方國偉
企業研發人員在構建 AIGC 應用時更多關注開發部署門檻能否降低,更快的完成企業需求。運維人員要確保系統能夠穩定運行,在業務量高峰時刻做到快速彈性,業務量小時節約成本,企業既能實現業務目標,又能保證系統可靠性高、成本較低。
為了更好的支撐 AIGC 應用,華為云提供了全域 Serverless 能力,推出了 CCEAutopilot、FunctionGraph、CAE 等 Serverless 產品,將一系列的 AI 原生技術構筑成后端服務,形成 BaaSforAI 能力,調用即可得。結合完善的工具鏈,幫忙企業快速構建應用。
Serverless容器 CCEAutopilot、CCI 讓用戶無需關注底層資源,自動運維,幫助用戶降低運維成本。
在 CloudBursting 場景,去哪兒網基于 CCI 打造了靈活上云新體驗,完成業務 0 改造,實現 4000 實例/30s 的極致彈性。
FunctionGraph3.0 八大關鍵能力,
助力 AIGC 應用創新
全新升級的 FunctionGraph3.0,新增 Serverless 應用中心、獨創 Snapshot 冷啟動加速、預留實例智能推薦特性,配合異構資源虛擬化技術,實現 AIGC 應用低成本、低延遲,加上端到端的全鏈路壓測和全棧可觀測能力,助力 AIGC 應用快速開發,天級上線。
杭州曼孚科技有限公司是行業領先的 AI 基礎架構與數據智能平臺服務商,基于 FunctionGraph 構建自動化 AI 訓練平臺,更細粒度的 GPU 算力供給加上按需全自動資源彈性,實現成本降低 40%。
華為云 Serverless 事件總線服務事件網格 EventGrid 能夠支持統一事件中心、事件驅動引擎、開放與集成、降低開發成本四大典型場景,為企業提供中心化的事件集成、治理和驅動能力。
在車聯網場景,某 Top 車企使用 EventGrid 構建 Serverless 化的事件驅動架構的同時,實現上下游異步解耦,便于擴展和避免單點故障;作為無碼化對接的事件中心,避免云服務間點對點對接,減少 50%開發工作量以及數據高可靠 0 丟失和數據規則調整 0 變更。降低成本。
Serverless 應用托管 CAE 產品升級:支持應用 0 代碼修改平遷上云,用戶無需修改業務代碼;支持 Web/微服務應用 Serverless 化,幫助企業降本增效,提升業務穩定性。
香港新世界旗下廣州新合創科技有限公司,使用 CAE 全托管模式提升 50%效率;后續還會根據商場人流峰值設定定時伸縮,節省資源以降低成本。
BaaSforAI:華為云 BaaS 服務 DWS3.0提供 PayByResource 彈性模式和 PayByQuery 彈性模式,幫助企業實現后端服務 Serverless 化。
“華為云提供全域 Serverless 能力,讓開發者 5 倍速開發行業大模型,支撐千行萬業的 AI 應用開發。面向 AI 領域全新升級的 FunctionGraph3.0,真正實現大模型應用即開即關、即時響應,無限擴展。”
Serverless挺進AI,
強強聯合加速 AI 應用創新
華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜
基于自主創新元戎內核構建的 FunctionGraph3.0 如何保障 AI 應用開發部署低成本和響應低時延,譚焜做了深入的技術分享:
模型開發部署依賴昂貴的異構資源。傳統的異構函數,CPU 和 XPU 資源綁定分配,單一推理函數包含 CPU 和 XPU 操作,操作 CPU 時 XPU 空閑,操作 XPU 時 CPU 空閑,資源利用率低。元戎獨創的純 XPU 異構函數,CPU 和 XPU 資源綁定解耦,用戶可把不同類型資源的操作寫成不同的函數,執行時分解到不同算力處理器上,無閑置資源。
FunctionGraph 打造 ServerlessAI 最佳平臺
在大模型推理場景,包括全量推理和增量推理兩個階段。全量推理階段算力需求遠高于增量推理階段,增量推理階段,耗時可能遠長于全量推理階段。針對這類場景,元戎可以做到全量推理和增量推理解耦,各自按需彈性擴縮,精確算力供給,真正按使用量計費,降低用戶成本。
更快的應用響應速度意味著更好的用戶體驗。元戎自主創新的 FoldFormerAI 模型可在線持續預測用戶業務負載,提前進行實例預熱,達到 85%~95%準確率,大大降低了冷啟動概率。無法被準確預測的流量,通過一系列優化措施加速冷啟動。在用戶模型下載階段,基于內置的內存數據系統和 SSD 構建的分級高速緩存,實現系統內緩存模型文件,大幅縮短下載時間。計算時,模型按 Layer 分批加載,并根據用戶 SLA 和模型推理時延歷史數據構建最優 pipeline,降低參數加載和模型推理總時延,冷啟動優化到秒級。
譚焜最后總結道:“基于元戎內核,FunctionGraph3.0 提供異構函數極速冷啟動,細粒度異構資源管理和按需彈性擴縮,打造 ServerlessAI 極低成本和極致性能;依托華為云豐富的 BaaS 服務和全托管的開發環境,打造 ServerlessAI 極優體驗。”
AI 賦能建筑行業數字化
廣聯達科技股份有限公司首席業務專家/副總裁祁長福發表 AI 賦能建筑行業數字化主題演講。“廣聯達作為數字建筑平臺服務商,立足建筑產業,圍繞工程項目的全生命周期,為客戶提供數字化解決方案,公司提出“數字建筑”理念,希望通過“數字建筑”系統、全面、深度地助力建筑產業轉型升級。”
廣聯達科技股份有限公司首席業務專家/副總裁祁長福
祁長福介紹,在技術方面,廣聯達通過大力研發 BIM和云計算、大數據、物聯網、移動互聯網、人工智能等信息技術引領產業轉型升級。
在 AI 領域,廣聯達圍繞行業難點,圍繞設計、成本、施工等重點領域,打造核心 AI 應用。應用設計采用 Serverless 理念,依托華為云 Serverless 服務構建解決方案,將 AI 模型以鏡像方式部署在 FunctionGraph,對外提供通用 API,無需管理運維異構資源(GPU 等),模型實例隨業務量全自動擴縮容,無請求時實例縮容到 0,低成本高可用運行。上層應用采用 FaaS+BaaS 的 Serverless 應用架構,集成模型推理接口,只需專注于業務邏輯代碼,可函數級粒度并行開發,快速迭代應用。
華為云 FunctionGraph 技術極大的優化了 AI 應用的開發過程,讓 AI 團隊可以更關注業務實現,而無需關注底層技術細節。
“廣聯達以推動建筑行業數字化為己任,著力打造‘數字+連接+算法’的系統性數字化。圍繞行業痛點,我們以智能化技術為基礎,依托華為云 FunctionGraphSeverless 架構,打造建筑從業人員的 CoPilot,幫助行業人員提升作業效率,提高管理水平和決策質量。”
未來,華為云將持續落地全域 Serverless 產品,與華為 2012 實驗室深度合作,以 FunctionGraph3.0 為核心,打造 ServerlessAI 極低成本和極致性能,充分滿足大模型應用的敏捷要求,助力千行萬業深度用云。
審核編輯 黃宇
-
華為云
+關注
關注
3文章
2435瀏覽量
17322 -
大模型
+關注
關注
2文章
2339瀏覽量
2499
發布評論請先 登錄
相關推薦
評論