精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

NVIDIA Triton開源推理服務(wù)軟件三大功能推動效率提升

NVIDIA英偉達(dá)企業(yè)解決方案 ? 來源:NVIDIA英偉達(dá)企業(yè)解決方案 ? 作者:NVIDIA英偉達(dá)企業(yè)解 ? 2022-01-04 14:20 ? 次閱讀

Microsoft Teams借助AI生成的實時字幕和轉(zhuǎn)錄功能,幫助全球?qū)W生和職場人士順利進(jìn)行在線會議。用于訓(xùn)練的NVIDIA AI計算技術(shù)和用于推理語音識別模型的NVIDIA Triton推理服務(wù)器進(jìn)一步提升了這兩個功能。

Microsoft Teams 是全球溝通和協(xié)作的重要工具,每月有近2.5億活躍用戶。Microsoft Azure 認(rèn)知服務(wù)為Teams提供28種語言的字幕和轉(zhuǎn)錄,并將很快能夠在NVIDIA GPU上運行關(guān)鍵的計算密集型神經(jīng)網(wǎng)絡(luò)推理。

實時字幕功能幫助與會者實時跟蹤對話,轉(zhuǎn)錄功能方便與會者在日后回顧當(dāng)時的創(chuàng)意或回看未能參與的會議。

實時字幕對聾啞人、聽力障礙者,或者異國與會者特別有用。

NVIDIA Triton開源推理服務(wù)軟件能夠幫助Teams使用認(rèn)知服務(wù)優(yōu)化語音識別模型。

使用Triton,認(rèn)知服務(wù)能夠支持高度先進(jìn)的語言模型,以極低的延遲實時提供高度準(zhǔn)確、個性化的語音轉(zhuǎn)文本結(jié)果。同時,可以保證運行這些語音轉(zhuǎn)文本模型的NVIDIA GPU充分發(fā)揮其潛力,在消耗更少計算資源的同時,為客戶提供更高的吞吐量,進(jìn)而降低成本。

底層語音識別技術(shù)作為認(rèn)知服務(wù)中的一個API,開發(fā)人員可以使用它定制和運行自己的應(yīng)用程序——客服電話轉(zhuǎn)錄、智能家居控制或為急救人員提供AI助手。

字字達(dá)意的AI

認(rèn)知服務(wù)會生成Teams的轉(zhuǎn)錄和字幕,將語音轉(zhuǎn)換為文本,并識別說話人。同時也能夠識別專業(yè)術(shù)語 、姓名和其他會議背景,提高字幕的準(zhǔn)確性。

Microsoft Teams的通話、會議及設(shè)備首席項目經(jīng)理Shalendra Chhabra表示:“這樣的AI模型非常復(fù)雜,需要數(shù)千萬個神經(jīng)網(wǎng)絡(luò)參數(shù)才能識別幾十種不同的語言。但模型越大,就越難以經(jīng)濟(jì)高效地實時運行。”

NVIDIA GPU和Triton軟件能夠幫助微軟在不犧牲低延遲的情況下,通過強(qiáng)大的神經(jīng)網(wǎng)絡(luò),實現(xiàn)高準(zhǔn)確性,確保語音-文本的實時轉(zhuǎn)換。

當(dāng)啟用轉(zhuǎn)錄功能時,與會者可以在會議結(jié)束后輕松補上錯過的內(nèi)容。

Triton三大功能推動效率提升

NVIDIA Triton有助于簡化AI模型部署,并解鎖高性能推理。用戶甚至可以為自己的應(yīng)用開發(fā)自定義后端。軟件的一些關(guān)鍵功能可將Microsoft Teams的字幕和轉(zhuǎn)錄功能擴(kuò)展到更多會議和用戶,包括:

流推理:新型流推理功能——通過跟蹤語音上下語境,提高延遲、敏感性字幕的準(zhǔn)確度,它助力NVIDIA和Azure認(rèn)知服務(wù)合作定制語音轉(zhuǎn)文本的應(yīng)用程序。

動態(tài)合批:批大小指神經(jīng)網(wǎng)絡(luò)同時處理的輸入樣本數(shù)量。通過Triton的動態(tài)合批,單項推理請求被自動組合成一個批次,因此能夠在不影響模型延遲的情況下更好地利用GPU資源。

并發(fā)模型執(zhí)行:實時字幕和轉(zhuǎn)錄需要同時運行多個深度學(xué)習(xí)模型。Triton使開發(fā)人員能夠在單個GPU上同時完成這些工作,包括使用不同深度學(xué)習(xí)框架的模型。

即刻啟程,借助Azure 認(rèn)知服務(wù),在您的應(yīng)用中使用語音轉(zhuǎn)文本的功能,并進(jìn)一步了解NVIDIA Triton 推理服務(wù)軟件如何幫助團(tuán)隊大規(guī)模部署AI模型。

NVIDIA 將參加 CES 2022, 并將在 1 月 5 日凌晨 0 點(北京時間)發(fā)表 NVIDIA 特別演講。

NVIDIA GeForce 高級副總裁 Jeff Fisher 和 NVIDIA 汽車部門副總裁兼總經(jīng)理 Ali Kani 將展示加速計算在設(shè)計、仿真、游戲和自動駕駛汽車方面的新突破。掃描下方海報,即刻將該日程添加到日歷!

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

文章出處:【微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    4940

    瀏覽量

    102817
  • 功能
    +關(guān)注

    關(guān)注

    3

    文章

    589

    瀏覽量

    29226
  • 開源
    +關(guān)注

    關(guān)注

    3

    文章

    3251

    瀏覽量

    42407

原文標(biāo)題:Microsoft Azure 認(rèn)知服務(wù)和NVIDIA AI提升Microsoft Teams實時字幕和轉(zhuǎn)錄功能

文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    NVIDIA助力麗蟾科技打造AI訓(xùn)練與推理加速解決方案

    麗蟾科技通過 Leaper 資源管理平臺集成 NVIDIA AI Enterprise,為企業(yè)和科研機(jī)構(gòu)提供了一套高效、靈活的 AI 訓(xùn)練與推理加速解決方案。無論是在復(fù)雜的 AI 開發(fā)任務(wù)中,還是在高并發(fā)推理場景下,都能夠確保項
    的頭像 發(fā)表于 10-27 10:03 ?166次閱讀
    <b class='flag-5'>NVIDIA</b>助力麗蟾科技打造AI訓(xùn)練與<b class='flag-5'>推理</b>加速解決方案

    NVIDIA助力提供多樣、靈活的模型選擇

    在本案例中,Dify 以模型中立以及開源生態(tài)的優(yōu)勢,為廣大 AI 創(chuàng)新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理
    的頭像 發(fā)表于 09-09 09:19 ?434次閱讀

    魔搭社區(qū)借助NVIDIA TensorRT-LLM提升LLM推理效率

    “魔搭社區(qū)是中國最具影響力的模型開源社區(qū),致力給開發(fā)者提供模型即服務(wù)的體驗。魔搭社區(qū)利用NVIDIA TensorRT-LLM,大大提高了大語言模型的推理性能,方便了模型應(yīng)用部署,提高
    的頭像 發(fā)表于 08-23 15:48 ?391次閱讀

    NVIDIA NIM微服務(wù)帶來巨大優(yōu)勢

    服務(wù)通過熱門 AI 模型為數(shù)百萬開發(fā)者帶來高達(dá) 5 倍的 token 效率提升,使他們能夠立即訪問在 NVIDIA DGX Cloud 上運行的 NIM 微
    的頭像 發(fā)表于 08-23 15:20 ?442次閱讀

    全新 NVIDIA NeMo Retriever微服務(wù)大幅提升LLM的準(zhǔn)確性和吞吐量

    企業(yè)能夠通過提供檢索增強(qiáng)生成功能的生產(chǎn)就緒型 NVIDIA NIM 推理服務(wù),充分挖掘業(yè)務(wù)數(shù)據(jù)的價值。這些微服務(wù)現(xiàn)已集成到 Cohesit
    的頭像 發(fā)表于 07-26 11:13 ?786次閱讀
    全新 <b class='flag-5'>NVIDIA</b> NeMo Retriever微<b class='flag-5'>服務(wù)</b>大幅<b class='flag-5'>提升</b>LLM的準(zhǔn)確性和吞吐量

    NVIDIA攜手Meta推出AI服務(wù),為企業(yè)提供生成式AI服務(wù)

    NVIDIA近日宣布了一項重大舉措,正式推出NVIDIA AI Foundry服務(wù)NVIDIA NIM(NVIDIA Inference
    的頭像 發(fā)表于 07-25 16:57 ?493次閱讀

    英偉達(dá)推出全新NVIDIA AI Foundry服務(wù)NVIDIA NIM推理服務(wù)

    NVIDIA 宣布推出全新 NVIDIA AI Foundry 服務(wù)NVIDIA NIM 推理服務(wù)
    的頭像 發(fā)表于 07-25 09:48 ?672次閱讀

    英偉達(dá)推出AI模型推理服務(wù)NVIDIA NIM

    英偉達(dá)近日宣布推出一項革命性的AI模型推理服務(wù)——NVIDIA NIM。這項服務(wù)將極大地簡化AI模型部署過程,為全球的2800萬英偉達(dá)開發(fā)者提供前所未有的便利。
    的頭像 發(fā)表于 06-04 09:15 ?647次閱讀

    NVIDIA與Google DeepMind合作推動大語言模型創(chuàng)新

    支持 NVIDIA NIM 推理服務(wù)的谷歌最新開源模型 PaliGemma 首次亮相。
    的頭像 發(fā)表于 05-16 09:44 ?423次閱讀

    NVIDIA加速微軟最新的Phi-3 Mini開源語言模型

    NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微軟最新的 Phi-3 Mini 開源語言模型。TensorRT-LLM 是一個開源庫,用于優(yōu)化從 PC 到云端的
    的頭像 發(fā)表于 04-28 10:36 ?489次閱讀

    利用NVIDIA組件提升GPU推理的吞吐

    本實踐中,唯品會 AI 平臺與 NVIDIA 團(tuán)隊合作,結(jié)合 NVIDIA TensorRT 和 NVIDIA Merlin HierarchicalKV(HKV)將推理的稠密網(wǎng)絡(luò)和熱
    的頭像 發(fā)表于 04-20 09:39 ?645次閱讀

    使用NVIDIA Triton推理服務(wù)器來加速AI預(yù)測

    這家云計算巨頭的計算機(jī)視覺和數(shù)據(jù)科學(xué)服務(wù)使用 NVIDIA Triton 推理服務(wù)器來加速 AI 預(yù)測。
    的頭像 發(fā)表于 02-29 14:04 ?547次閱讀

    利用NVIDIA產(chǎn)品技術(shù)組合提升用戶體驗

    UTalk-Doc 將用戶指令識別服務(wù)吞吐量提升了 5 倍,單個請求響應(yīng)時間縮減了分之一,大幅提升服務(wù)運行
    的頭像 發(fā)表于 01-17 09:30 ?655次閱讀

    什么是Triton-shared?Triton-shared的安裝和使用

    經(jīng)過前面幾章關(guān)于triton在nv gpu上調(diào)優(yōu)的講解,我們這章開始來看看triton的一個third_party庫,該庫是為了讓triton去支持更多其他的backend。該項目的地址如下所示
    的頭像 發(fā)表于 12-19 09:47 ?1113次閱讀
    什么是<b class='flag-5'>Triton</b>-shared?<b class='flag-5'>Triton</b>-shared的安裝和使用

    華為云 CodeArts?開源治理服務(wù),解鎖軟件安全新標(biāo)準(zhǔn)

    的傳統(tǒng)束縛,更是開啟了一場軟件安全的“革命”。本文將深入剖析業(yè)界痛點、產(chǎn)品優(yōu)勢以及選擇華為云開源治理服務(wù)華為云開源治理服務(wù) CodeArts
    的頭像 發(fā)表于 12-10 21:00 ?940次閱讀
    華為云 CodeArts?<b class='flag-5'>開源</b>治理<b class='flag-5'>服務(wù)</b>,解鎖<b class='flag-5'>軟件</b>安全新標(biāo)準(zhǔn)