精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

全域 Serverless+AI,華為云加速大模型應用開發

jf_81200783 ? 來源:jf_81200783 ? 作者:jf_81200783 ? 2023-10-25 21:30 ? 次閱讀

日前,華為全聯接大會 2023 在上海召開。華為云 CTO 張宇昕在大會上發布了基于 Serverless 技術的大模型應用開發框架,框架以面向 AI 領域全新升級的 FunctionGraph3.0 為核心,將 BaaSforAI后端和開放平臺快速無縫集成,助力企業輕松商用 AI 應用。

wKgaomU5GICAErLYAABs25w9N_E63.jpeg

在“全域 Serverless+AI加速應用創新”專題演講上,華為云首席產品官方國偉、華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜,分享了 Serverless 和 AI 如何結合的前沿理念和實踐,深度解析華為云在 Serverless 領域核心產品及基于元戎架構構建的分布式內核能力,為開發者打造 ServerlessAI 極優體驗,幫助企業加速應用創新;廣聯達科技股份有限公司首席業務專家/副總裁祁長福分享了在建筑行業,如何基于華為云 Serverless 產品 FunctionGraph 優化 AI 應用開發,提升交付效率。

全域 Serverless 為千行萬業深度用云

帶來新體驗

方國偉介紹,在 AI 時代背景下,軟件開發的方式由以代碼為中心,走向以模型為中心,如何將 AI 大模型能力充分利用起來,是當下云廠商積極探索的事情。

wKgZomU5GIGAe8LxAAB47r4ny-434.jpeg

華為云首席產品官方國偉

企業研發人員在構建 AIGC 應用時更多關注開發部署門檻能否降低,更快的完成企業需求。運維人員要確保系統能夠穩定運行,在業務量高峰時刻做到快速彈性,業務量小時節約成本,企業既能實現業務目標,又能保證系統可靠性高、成本較低。

為了更好的支撐 AIGC 應用,華為云提供了全域 Serverless 能力,推出了 CCEAutopilot、FunctionGraph、CAE 等 Serverless 產品,將一系列的 AI 原生技術構筑成后端服務,形成 BaaSforAI 能力,調用即可得。結合完善的工具鏈,幫忙企業快速構建應用。

wKgaomU5GIGAKs4BAAQs0Ki6_OA874.png

Serverless容器 CCEAutopilot、CCI 讓用戶無需關注底層資源,自動運維,幫助用戶降低運維成本。

在 CloudBursting 場景,去哪兒網基于 CCI 打造了靈活上云新體驗,完成業務 0 改造,實現 4000 實例/30s 的極致彈性。

FunctionGraph3.0 八大關鍵能力,

助力 AIGC 應用創新

全新升級的 FunctionGraph3.0,新增 Serverless 應用中心、獨創 Snapshot 冷啟動加速、預留實例智能推薦特性,配合異構資源虛擬化技術,實現 AIGC 應用低成本、低延遲,加上端到端的全鏈路壓測和全棧可觀測能力,助力 AIGC 應用快速開發,天級上線。

wKgZomU5GIKAaA_rAAOEIb3r2Wk412.png

杭州曼孚科技有限公司是行業領先的 AI 基礎架構與數據智能平臺服務商,基于 FunctionGraph 構建自動化 AI 訓練平臺,更細粒度的 GPU 算力供給加上按需全自動資源彈性,實現成本降低 40%。

華為云 Serverless 事件總線服務事件網格 EventGrid 能夠支持統一事件中心、事件驅動引擎、開放與集成、降低開發成本四大典型場景,為企業提供中心化的事件集成、治理和驅動能力。

在車聯網場景,某 Top 車企使用 EventGrid 構建 Serverless 化的事件驅動架構的同時,實現上下游異步解耦,便于擴展和避免單點故障;作為無碼化對接的事件中心,避免云服務間點對點對接,減少 50%開發工作量以及數據高可靠 0 丟失和數據規則調整 0 變更。降低成本。

Serverless 應用托管 CAE 產品升級:支持應用 0 代碼修改平遷上云,用戶無需修改業務代碼;支持 Web/微服務應用 Serverless 化,幫助企業降本增效,提升業務穩定性。

香港新世界旗下廣州新合創科技有限公司,使用 CAE 全托管模式提升 50%效率;后續還會根據商場人流峰值設定定時伸縮,節省資源以降低成本。

BaaSforAI:華為云 BaaS 服務 DWS3.0提供 PayByResource 彈性模式和 PayByQuery 彈性模式,幫助企業實現后端服務 Serverless 化。

“華為云提供全域 Serverless 能力,讓開發者 5 倍速開發行業大模型,支撐千行萬業的 AI 應用開發。面向 AI 領域全新升級的 FunctionGraph3.0,真正實現大模型應用即開即關、即時響應,無限擴展。”

Serverless挺進AI,

強強聯合加速 AI 應用創新

wKgaomU5GIKAMKUsAACLVd98qD821.jpeg

華為 2012 實驗室中軟分布式與并行軟件實驗室主任譚焜

基于自主創新元戎內核構建的 FunctionGraph3.0 如何保障 AI 應用開發部署低成本和響應低時延,譚焜做了深入的技術分享:

模型開發部署依賴昂貴的異構資源。傳統的異構函數,CPU 和 XPU 資源綁定分配,單一推理函數包含 CPU 和 XPU 操作,操作 CPU 時 XPU 空閑,操作 XPU 時 CPU 空閑,資源利用率低。元戎獨創的純 XPU 異構函數,CPU 和 XPU 資源綁定解耦,用戶可把不同類型資源的操作寫成不同的函數,執行時分解到不同算力處理器上,無閑置資源。

wKgZomU5GIOAUA8LAADTeEfPNNs133.png

FunctionGraph 打造 ServerlessAI 最佳平臺

在大模型推理場景,包括全量推理和增量推理兩個階段。全量推理階段算力需求遠高于增量推理階段,增量推理階段,耗時可能遠長于全量推理階段。針對這類場景,元戎可以做到全量推理和增量推理解耦,各自按需彈性擴縮,精確算力供給,真正按使用量計費,降低用戶成本。

更快的應用響應速度意味著更好的用戶體驗。元戎自主創新的 FoldFormerAI 模型可在線持續預測用戶業務負載,提前進行實例預熱,達到 85%~95%準確率,大大降低了冷啟動概率。無法被準確預測的流量,通過一系列優化措施加速冷啟動。在用戶模型下載階段,基于內置的內存數據系統和 SSD 構建的分級高速緩存,實現系統內緩存模型文件,大幅縮短下載時間。計算時,模型按 Layer 分批加載,并根據用戶 SLA 和模型推理時延歷史數據構建最優 pipeline,降低參數加載和模型推理總時延,冷啟動優化到秒級。

譚焜最后總結道:“基于元戎內核,FunctionGraph3.0 提供異構函數極速冷啟動,細粒度異構資源管理和按需彈性擴縮,打造 ServerlessAI 極低成本和極致性能;依托華為云豐富的 BaaS 服務和全托管的開發環境,打造 ServerlessAI 極優體驗。”

AI 賦能建筑行業數字化

廣聯達科技股份有限公司首席業務專家/副總裁祁長福發表 AI 賦能建筑行業數字化主題演講。“廣聯達作為數字建筑平臺服務商,立足建筑產業,圍繞工程項目的全生命周期,為客戶提供數字化解決方案,公司提出“數字建筑”理念,希望通過“數字建筑”系統、全面、深度地助力建筑產業轉型升級。”

wKgaomU5GISADC66AAB-TphkY0k22.jpeg

廣聯達科技股份有限公司首席業務專家/副總裁祁長福

祁長福介紹,在技術方面,廣聯達通過大力研發 BIM和云計算、大數據、物聯網、移動互聯網、人工智能信息技術引領產業轉型升級。

在 AI 領域,廣聯達圍繞行業難點,圍繞設計、成本、施工等重點領域,打造核心 AI 應用。應用設計采用 Serverless 理念,依托華為云 Serverless 服務構建解決方案,將 AI 模型以鏡像方式部署在 FunctionGraph,對外提供通用 API,無需管理運維異構資源(GPU 等),模型實例隨業務量全自動擴縮容,無請求時實例縮容到 0,低成本高可用運行。上層應用采用 FaaS+BaaS 的 Serverless 應用架構,集成模型推理接口,只需專注于業務邏輯代碼,可函數級粒度并行開發,快速迭代應用。

華為云 FunctionGraph 技術極大的優化了 AI 應用的開發過程,讓 AI 團隊可以更關注業務實現,而無需關注底層技術細節。

“廣聯達以推動建筑行業數字化為己任,著力打造‘數字+連接+算法’的系統性數字化。圍繞行業痛點,我們以智能化技術為基礎,依托華為云 FunctionGraphSeverless 架構,打造建筑從業人員的 CoPilot,幫助行業人員提升作業效率,提高管理水平和決策質量。”

未來,華為云將持續落地全域 Serverless 產品,與華為 2012 實驗室深度合作,以 FunctionGraph3.0 為核心,打造 ServerlessAI 極低成本和極致性能,充分滿足大模型應用的敏捷要求,助力千行萬業深度用云。

審核編輯 黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 華為云
    +關注

    關注

    3

    文章

    2435

    瀏覽量

    17322
  • 大模型
    +關注

    關注

    2

    文章

    2339

    瀏覽量

    2499
收藏 人收藏

    評論

    相關推薦

    華為徐峰:AI 賦能應用現代化,加速軟件生產力躍升

    ,分享了智能化應用的行業實踐,并發布了華為在應用開發、運行、運維、集成領域的智能化新產品能力。 在主題為“ AI 賦能應用現代化,加速軟件
    的頭像 發表于 10-14 09:45 ?494次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b>徐峰:<b class='flag-5'>AI</b> 賦能應用現代化,<b class='flag-5'>加速</b>軟件生產力躍升

    華為全域 Serverless 8 月更新盤點

    【摘要】 近年來,華為持續構筑全域 Serverless 服務,推出了一系列競爭力領先的 Serve
    的頭像 發表于 09-27 00:06 ?651次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b><b class='flag-5'>全域</b> <b class='flag-5'>Serverless</b> 8 月更新盤點

    華為盤古汽車大模型通過可信AI汽車大模型評估

    近日,國內科技界傳來喜訊,華為盤古汽車大模型在信通院組織的可信AI汽車大模型首輪評估中脫穎而出,成功獲得4+級證書,成為國內首批通過該評估
    的頭像 發表于 07-15 17:34 ?796次閱讀

    HDC 2024軟通動力攜手華為共啟AI原生應用引擎全域生態合作

    華為開發者大會2024(HDC 2024)期間,華為開天aPaaS高峰論壇首發“AI原生應用引擎”。軟通動力高級副總裁、數字基礎設施與集成
    的頭像 發表于 06-25 19:19 ?1256次閱讀
    HDC 2024軟通動力攜手<b class='flag-5'>華為</b><b class='flag-5'>云</b>共啟<b class='flag-5'>AI</b>原生應用引擎<b class='flag-5'>全域</b>生態合作

    華為昇騰AI服務可適配100多個大模型

    在近日舉辦的華為開發者大會2024上,華為常務董事、華為CEO張平安向全球開發者們宣布了一項重
    的頭像 發表于 06-24 10:49 ?689次閱讀

    華為HDC 2024看點 華為盤古大模型5.0正式發布

    華為開發者大會2024(HDC 2024)上,華為常務董事、華為CEO張平安正式發布盤古大模型
    的頭像 發表于 06-23 11:41 ?1296次閱讀
    <b class='flag-5'>華為</b>HDC 2024看點  <b class='flag-5'>華為</b><b class='flag-5'>云</b>盤古大<b class='flag-5'>模型</b>5.0正式發布

    英特爾助力京東用CPU加速AI推理,以大模型構建數智化供應鏈

    英特爾助力京東用CPU加速AI推理,以大模型構建數智化供應鏈
    的頭像 發表于 05-27 11:50 ?507次閱讀
    英特爾助力京東<b class='flag-5'>云</b>用CPU<b class='flag-5'>加速</b><b class='flag-5'>AI</b>推理,以大<b class='flag-5'>模型</b>構建數智化供應鏈

    AI快訊:華為助力金融行業加速擁抱AI 馬斯克xAI 展示首個多模態模型

    AI快訊:華為助力金融行業加速擁抱AI 馬斯克xAI 展示首個多模態模型 小編給大家匯總一下近期的AI
    發表于 04-15 12:32 ?400次閱讀

    華為 Serverless 應用中心:一鍵開啟 AI 文生圖新時代,引領行業創新浪潮

    隨著數字化時代的快速發展,AI 技術已成為推動行業創新的關鍵動力。華為緊跟時代步伐,全新上線 Serverless 應用中心,為用戶提供海量應用模板,實現一鍵部署函數和周邊依賴資源,
    的頭像 發表于 03-19 22:57 ?441次閱讀

    華為 Serverless 應用中心嶄新上線,一鍵部署 AI 文生圖應用引領創新潮流

    近日,華為再次展現其技術實力,全新推出了 Serverless 應用中心,為用戶提供了海量的應用模板,讓一鍵部署函數及關聯資源成為現實,極大提升了應用的部署效率。無論是開發者還是運維
    的頭像 發表于 03-19 22:56 ?492次閱讀
    <b class='flag-5'>華為</b><b class='flag-5'>云</b> <b class='flag-5'>Serverless</b> 應用中心嶄新上線,一鍵部署 <b class='flag-5'>AI</b> 文生圖應用引領創新潮流

    華為盤古大模型通過金融大模型標準符合性驗證

    近日,在中國信通院組織的可信AI模型標準符合性驗證中,華為的盤古大模型表現出色,成功通過了金融大模型
    的頭像 發表于 03-05 10:12 ?603次閱讀

    鴻蒙原生應用元服務實戰-Serverless華為賬戶認證登錄需盡快適配

    一、ArkTS\\\\API9,服務器端基于serverless開發的應用與元服務華為賬號注冊登錄功能暫時是不支持的 二、3月1日后的審核要求 3月1日的時間是快到了。 三、會導致的結果
    發表于 02-20 10:14

    鴻蒙應用/元服務開發實戰-Serverless存儲沒法創建處理方式

    新賬戶,Serverless存儲沒法創建 ,沒法進行下一步。 解決方式 請按照這個方式修改一下就能正常創建了,瀏覽器中打開控制臺輸入 window.top.cfpConfig.cloudStorageSwitch=‘off’ 后再創建桶
    發表于 02-19 11:21

    引領AI未來 | 軟通動力攜手華為聯合成立泰國AI智社區

    ”和“AI for Ecosystem”三個方向框架,重點探討了如何加速AI產業發展和構建AI Hub、如何將華為
    的頭像 發表于 12-20 09:45 ?393次閱讀
    引領<b class='flag-5'>AI</b>未來 | 軟通動力攜手<b class='flag-5'>華為</b><b class='flag-5'>云</b>聯合成立泰國<b class='flag-5'>AI</b><b class='flag-5'>云</b>智社區

    瑞薩推出基于開發環境以加速車用AI軟件的開發與評估

    對此,瑞薩電子負責HPC AI和CloudTechnology的GlobalVP Mandali Khalesi表示欣喜:“我們很榮幸能聯手微軟這樣的領軍技術公司為車用AI工程師量身打造基于
    的頭像 發表于 12-15 10:30 ?464次閱讀