精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

如何最大化推理性能?Triton 社區技術交流活動與您暢聊

NVIDIA英偉達企業解決方案 ? 來源:未知 ? 2023-02-15 16:10 ? 次閱讀

由螞蟻集團和 NVIDIA 攜手舉辦的“Triton Meetup 2023”將于 2 月 25 日在北京舉行。該活動是 Triton 社區首次正式舉辦的線下技術交流活動。來自美團、京東、螞蟻、NVIDIA 的技術專家將帶來 AI Infra推理引擎相關的專題分享,包括目前各企業面臨的模型推理挑戰、Triton 的應用及落地的具體方案等,現身說法,干貨十足。此外,還有來自蔚來的特邀嘉賓,帶來“AI 推理服務的當下與未來”圓桌主題討論,歡迎到現場的小伙伴積極參與!

活動地點

北京 BCos 共享辦公--多功能廳

(北京 WFC 環球金融中心辦公店)

活動時間

2023 年 2 月 25 日

14:00 - 18:00

活動報名

長按掃描下方二維碼

或點擊文末“閱讀原文

即可預約報名!

890b3a2e-ad07-11ed-bfe3-dac502259ad0.png

Triton Meetup 2023 活動流程

14:00 - 14:05

開場

14:05 - 14:45

NVIDIA Triton Inference Server的現在和未來

14:45 - 15:25

Triton 在螞蟻全場景落地的優化

15:25 - 15:40

NVIDIA & 螞蟻開源社區共建啟動儀式

15:40 -16:20

Triton 在美團數據中心的應用

16:20 - 17:00

Triton 在京東零售的應用與實踐

17:00 - 17:20

圓桌討論:AI 推理服務的當下與未來

下面一起來看看嘉賓陣容吧!

議題一:NVIDIA Triton
Inference Server 的現在和未來

申意

NVIDIA 解決方案架構師

891f8a88-ad07-11ed-bfe3-dac502259ad0.png

負責為消費互聯網行業提供 GPU 計算解決方案。包括編解碼,數據前后處理,模型推理及服務化等。

議題簡介:

  • Triton 簡介

  • Triton 重要 Feature 簡介和 Roadmap 更新

  • Triton 的成功案例

議題二:Triton 在螞蟻全場景落地的優化

饒星

螞蟻集團高級技術專家

89495a84-ad07-11ed-bfe3-dac502259ad0.jpg

螞蟻集團推理團隊技術負責人,負責螞蟻集團全部業務場景的推理服務,長期專注在推理相關的架構和性能優化。

議題簡介:

  • Triton 在搜索、推薦、廣告業務場景的解決方案

  • Triton 在認知業務的解決方案

  • 結合業務場景,螞蟻進一步的優化方案

議題三:Triton 在美團數據中心的應用

王新

美團機器學習平臺預測引擎團隊

技術負責人

8968707c-ad07-11ed-bfe3-dac502259ad0.png

美團機器學習平臺預測引擎團隊技術負責人,長期專注于機器學習預測引擎相關的開發工作。

議題簡介:

  • 機器學習模型在美團落地的痛點

  • Triton 落地的具體方案

  • 使用 Triton 的業務收益與效果

議題四:Triton 在京東零售的應用與實踐

楊培軍

京東零售算法中臺技術架構師

89a674c6-ad07-11ed-bfe3-dac502259ad0.jpg

長期從事機器學習平臺/深度學習推理加速和框架的研發,曾負責阿里媽媽搜索廣告預估平臺、Bigo 機器學習平臺的建設。

議題簡介:

  • 京東零售的多元化算法需求給模型推理帶來的挑戰

  • 介紹京東算法中臺在面向 CV/NLP 場景基于 Triton 二次開發的高性能推理框架

  • 闡述推理框架的架構演進和性能優化工作

圓桌討論:AI 推理服務的當下與未來

特邀嘉賓:郭城

蔚來自動駕駛研發平臺 (NADP)資深工程師

89baadc4-ad07-11ed-bfe3-dac502259ad0.jpg

負責搭建 NADP 云上推理系統,模型 CICD。

交通指引 & 防疫政策

1. 自駕到場:

開車行進至“環球金融中心”,在大樓南側地下停車場進入。

2. 地鐵前往:

地鐵 10 號線至“金臺夕照”站,從 A 口出,步行 3-5 分鐘,從環球金融中心南門進入。


原文標題:如何最大化推理性能?Triton 社區技術交流活動與您暢聊

文章出處:【微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 英偉達
    +關注

    關注

    22

    文章

    3747

    瀏覽量

    90833

原文標題:如何最大化推理性能?Triton 社區技術交流活動與您暢聊

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達企業解決方案】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    潤和軟件參與openEuler社區操作系統安全主題技術交流

    Meetup,分享和交流openEuler社區在操作系統安全領域的最新進展、安全特性和實踐案例。江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)作為openEuler項目群黃金捐贈人受邀參與技術交流
    的頭像 發表于 11-13 16:14 ?325次閱讀

    擴展塢使用技巧:如何最大化你的筆記本電腦接口能力

    最大化的筆記本電腦接口能力,以下是一些實用的擴展塢使用技巧: 了解的需求:在購買擴展塢之前,明確需要哪些類型的端口(如HDMI, USB-C, RJ45等)以及是否需要充電功能
    的頭像 發表于 10-08 10:52 ?334次閱讀

    潤和軟件2024南京開源生態發展交流活動回顧

    基金會OpenHarmony項目群初始成員單位、A類捐贈人、核心共建單位,以及南京本地引領開源生態發展與技術創新的重點企業,與母公司江蘇潤和軟件股份有限公司(以下簡稱“潤和軟件”)共同參與承辦“2024南京開源生態發展交流活動”,并受邀出席“2024‘才匯金陵’高層次軟件
    的頭像 發表于 09-23 16:03 ?633次閱讀

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    近期,第五代英特爾?至強?可擴展處理器通過了中國電子技術標準化研究院組織的人工智能服務器系統性能測試(AISBench)。英特爾成為首批通過AISBench大語言模型(LLM)推理性能測試的企業
    的頭像 發表于 09-06 15:33 ?280次閱讀
    開箱即用,AISBench測試展示英特爾至強處理器的卓越<b class='flag-5'>推理性能</b>

    魔搭社區借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區是中國最具影響力的模型開源社區,致力給開發者提供模型即服務的體驗。魔搭社區利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應用部署,提高
    的頭像 發表于 08-23 15:48 ?388次閱讀

    賽力斯與意法半導體技術交流活動成功舉辦

    ???????近日,中國新能源汽車行業的領軍企業賽力斯(Seres)與意法半導體,在重慶聯合舉辦技術交流活動
    的頭像 發表于 08-01 10:18 ?1203次閱讀

    奧托立夫與深藍汽車技術交流活動圓滿落幕

    2024年7月23日,奧托立夫深入合作伙伴深藍汽車重慶總部,成功舉辦了一場以“智馭安全·共筑未來”為核心議題的技術交流活動。此次活動不僅深化了雙方在汽車安全領域的合作紐帶,更彰顯了雙方攜手并進、共筑汽車安全新高地的堅定信念。
    的頭像 發表于 07-24 09:58 ?502次閱讀

    0706線下活動 I DDR4/DDR5內存技術高速信號專題設計技術交流活動

    01活動主題DDR4/DDR5內存技術高速信號專題設計技術交流活動時間:2024年7月6日(本周六)10:00地點:深圳市南山區科技南十二路曙光大廈1002(深圳地鐵1號線,高新園地鐵站D出口200
    的頭像 發表于 07-06 08:12 ?303次閱讀
    0706線下<b class='flag-5'>活動</b> I DDR4/DDR5內存<b class='flag-5'>技術</b>高速信號專題設計<b class='flag-5'>技術交流活動</b>

    紫光同芯出席“走進理想”技術展覽及交流活動

    6月27日,“走進理想”技術展覽及交流活動在北京圓滿落幕。紫光同芯受邀出席,與行業專家、業界精英共聚一堂,圍繞電動化、智能化、輕量化等關鍵領域核心技術,深入探討智能汽車發展進程中的創新路徑。
    的頭像 發表于 07-02 14:45 ?482次閱讀

    法雷奧集團技術交流活動圓滿結束!

    交流,共同探討目前行業熱點及最新技術。“活動現場本次技術交流會得到法雷奧集團的大力支持,各個部門工程師都積極參與。同星智能針對當前客戶的相關需求,在本次
    的頭像 發表于 06-08 08:22 ?294次閱讀
    法雷奧集團<b class='flag-5'>技術交流</b>日<b class='flag-5'>活動</b>圓滿結束!

    2024瑞薩技術交流日進行中,米爾誠邀參觀

    2024年5月28日,全球半導體解決方案供應商瑞薩電子舉辦的“2024年瑞薩技術交流日”在深圳拉開序幕。米爾作為領先的嵌入式處理器模組廠商將出席此次活動米爾電子在現場展出瑞米派RemiPi,以及米爾
    的頭像 發表于 05-30 08:01 ?436次閱讀
    2024瑞薩<b class='flag-5'>技術交流</b>日進行中,米爾誠邀<b class='flag-5'>您</b>參觀

    自然語言處理應用LLM推理優化綜述

    當前,業界在將傳統優化技術引入 LLM 推理的同時,同時也在探索從大模型自回歸解碼特點出發,通過調整推理過程和引入新的模型結構來進一步提升推理性能
    發表于 04-10 11:48 ?553次閱讀
    自然語言處理應用LLM<b class='flag-5'>推理</b>優化綜述

    使用NVIDIA Triton推理服務器來加速AI預測

    這家云計算巨頭的計算機視覺和數據科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。
    的頭像 發表于 02-29 14:04 ?547次閱讀

    使用GaN HEMT設備最大化OBCs的功率密度

    隨著電動汽車(EVs)的銷售量增長,整車OBC(車載充電器)的性能要求日益提高。原始設備制造商正在尋求最小化這些組件的尺寸和重量以提高車輛續航里程。因此,我們將探討如何設計、選擇拓撲結構,以及如何通過GaN HEMT設備最大化OBCS的功率密度。
    的頭像 發表于 12-17 11:30 ?999次閱讀
    使用GaN HEMT設備<b class='flag-5'>最大化</b>OBCs的功率密度

    用上這個工具包,大模型推理性能加速達40倍

    作者: 英特爾公司 沈海豪、羅嶼、孟恒宇、董波、林俊 編者按: 只需不到9行代碼, 就能在CPU上實現出色的LLM推理性能。 英特爾 ?Extension for Transformer 創新
    的頭像 發表于 12-01 20:40 ?1101次閱讀
    用上這個工具包,大模型<b class='flag-5'>推理性能</b>加速達40倍