基于 NVIDIA Jetson 平臺(tái)進(jìn)行開發(fā)的 1 萬多家公司現(xiàn)在可以利用全新的生成式 AI、API 和微服務(wù)來加快推進(jìn)行業(yè)數(shù)字化。

強(qiáng)大的生成式 AI 模型、云原生應(yīng)用程序接口（API）和微服務(wù)已應(yīng)用于邊緣。

生成式 AI 正在將 Transformer 模型和大語言模型的強(qiáng)大力量帶到各行各業(yè)，應(yīng)用范圍現(xiàn)已擴(kuò)展到邊緣、機(jī)器人和物流系統(tǒng)相關(guān)領(lǐng)域，如缺陷檢測(cè)、實(shí)時(shí)資產(chǎn)追蹤、自主規(guī)劃和導(dǎo)航以及人機(jī)交互等。

NVIDIA 近日宣布，對(duì)適用于邊緣 AI 和機(jī)器人的NVIDIA Jetson平臺(tái)上的兩個(gè)框架進(jìn)行大規(guī)模擴(kuò)展。NVIDIA Isaac ROS機(jī)器人框架已全面上市，NVIDIA Metropolis在 Jetson 平臺(tái)上的擴(kuò)展也即將推出。

為加速邊緣 AI 應(yīng)用的開發(fā)和部署，NVIDIA 還創(chuàng)建了一個(gè) Jetson 生成式 AI 實(shí)驗(yàn)室，以供開發(fā)者利用開源生成式 AI 模型進(jìn)行開發(fā)。

目前，已有超過 120 萬名開發(fā)者和 1 萬多家客戶選擇了 NVIDIA AI 和 Jetson 平臺(tái)，包括亞馬遜云科技（AWS）、思科、約翰迪爾、美敦力、百事、西門子等。

隨著 AI 領(lǐng)域的快速發(fā)展，其應(yīng)用場(chǎng)景日益變得復(fù)雜，開發(fā)者在構(gòu)建邊緣 AI 應(yīng)用時(shí)也面臨著開發(fā)周期延長(zhǎng)的挑戰(zhàn)。為了實(shí)時(shí)滿足客戶不斷變化的環(huán)境、生產(chǎn)線和自動(dòng)化需求，需要反復(fù)對(duì)機(jī)器人和 AI 系統(tǒng)進(jìn)行編程，這不僅非常耗時(shí)，還要求開發(fā)者具備足夠的專業(yè)技能。

生成式 AI 所具有的“零樣本學(xué)習(xí)”能力（即模型能夠識(shí)別訓(xùn)練中從未見過的特定事物）和自然語言界面能夠簡(jiǎn)化邊緣 AI 的開發(fā)、部署與管理。

1

推動(dòng) AI 領(lǐng)域的變革

生成式 AI 通過理解人類的語言提示，對(duì)模型進(jìn)行更改，從而提高了易用性。這些 AI 模型在檢測(cè)、分割、追蹤、搜索甚至重新編程方面都更加靈活，并借此超越了基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的傳統(tǒng)模型。

據(jù) ABI Research 預(yù)測(cè)，到 2033 年，生成式 AI 將為全球制造業(yè)務(wù)增收 105 億美元。

NVIDIA 嵌入式和邊緣計(jì)算副總裁 Deepu Talla 表示：“生成式 AI 具有泛用性、易用性和精確性，這將顯著加快邊緣 AI 的部署。我們?cè)?Jetson 平臺(tái)上對(duì) Metropolis 和 Isaac 框架進(jìn)行了大規(guī)模的軟件擴(kuò)展，并結(jié)合 Transformer 模型與生成式 AI 的強(qiáng)大功能來滿足這一需求。”

2

利用邊緣生成式 AI 進(jìn)行開發(fā)

NVIDIA Jetson 生成式 AI 實(shí)驗(yàn)室為 Jetson 開發(fā)者提供經(jīng)過優(yōu)化的工具和教程，用以部署開源大語言模型（LLM）、以交互方式生成驚艷圖像的擴(kuò)散模型、視覺語言模型（VLM）以及視覺 Transformer（ViT）。其中，ViT 結(jié)合了視覺 AI 和自然語言處理，可提供對(duì)場(chǎng)景的全面理解。

開發(fā)者還可以使用NVIDIA TAO Toolkit，為邊緣應(yīng)用創(chuàng)建高效而精確的 AI 模型。TAO 提供了一個(gè)用于微調(diào)和優(yōu)化 ViT、視覺基礎(chǔ)模型等視覺 AI 模型的低代碼接口。此外，還可以定制并微調(diào) NVIDIA NV-DINOv2 等基礎(chǔ)模型或 OpenCLIP 等公共模型，用很少的數(shù)據(jù)創(chuàng)建高度精確的視覺 AI 模型。現(xiàn)在，TAO 還推出了一個(gè)基于 Transformer 的新型缺陷檢測(cè)模型——VisualChangeNet。

3

充分運(yùn)用全新的 Metropolis 和 Isaac 框架

NVIDIA Metropolis能夠幫助企業(yè)更輕松、更經(jīng)濟(jì)高效地使用優(yōu)質(zhì)的視覺 AI 解決方案，以改善至關(guān)重要的運(yùn)營(yíng)效率和安全問題。該平臺(tái)提供了一系列功能強(qiáng)大的應(yīng)用編程接口和微服務(wù)，供開發(fā)人員快速開發(fā)基于視覺的復(fù)雜應(yīng)用。

包括寶馬集團(tuán)、百事、克羅格、泰森食品、印孚瑟斯和西門子在內(nèi)的 1,000 多家公司正在使用 NVIDIA Metropolis 開發(fā)者工具，通過視覺 AI 來解決物聯(lián)網(wǎng)（IoT）、傳感器處理和運(yùn)營(yíng)方面的難題。NVIDIA Metropolis 開發(fā)者工具的采用速度日益加快，目前已被希望構(gòu)建視覺 AI 應(yīng)用的用戶下載了 100 多萬次。

為了幫助開發(fā)者快速構(gòu)建和部署可擴(kuò)展的視覺 AI 應(yīng)用程序，NVIDIA Jetson 平臺(tái)上的 Metropolis API 和微服務(wù)擴(kuò)展集將在年底前推出。

數(shù)百家客戶使用NVIDIA Isaac平臺(tái)，在農(nóng)業(yè)、倉儲(chǔ)自動(dòng)化、最后一公里配送、服務(wù)機(jī)器人等多個(gè)領(lǐng)域開發(fā)了高性能機(jī)器人解決方案。

在 ROSCon 2023 上，NVIDIA 宣布推出 Isaac ROS 和 Isaac Sim 軟件的全新版本，對(duì)感知和模擬功能進(jìn)行了重大改進(jìn)。基于常用的開源機(jī)器人操作系統(tǒng)（ROS）的 Isaac ROS，為自動(dòng)化帶來了感知能力，讓移動(dòng)的物體有了“眼睛”和“耳朵”。借助 GPU 加速的 GEM 所擁有的強(qiáng)大功能（包括視覺里程測(cè)量、深度知覺、3D 場(chǎng)景重建、定位和規(guī)劃等），機(jī)器人開發(fā)者就擁有了為不同應(yīng)用快速定制機(jī)器人解決方案所需要各種的工具。

隨著 Isaac ROS 2.0 新版本的發(fā)布，Isaac ROS 已達(dá)到生產(chǎn)就緒狀態(tài)，能夠幫助開發(fā)者使用 Jetson 平臺(tái)創(chuàng)建并推出高性能機(jī)器人解決方案。

開源機(jī)器人基金會(huì)首席技術(shù)官 Geoff Biggs 表示：“ROS 在不斷發(fā)展進(jìn)化，并為整個(gè)機(jī)器人社區(qū)提供開源軟件。NVIDIA 此次版本中全新預(yù)構(gòu)建的 ROS 2 軟件包將助力廣大 NVIDIA Jetson 開發(fā)者社區(qū)隨時(shí)使用 ROS 2，從而加速這一發(fā)展。”

4

提供新的 AI 工作流參考

為開發(fā)生產(chǎn)級(jí) AI 解決方案，需要開發(fā)和訓(xùn)練針對(duì)特定用例定制的 AI 模型，在平臺(tái)上實(shí)現(xiàn)強(qiáng)大的安全功能，編排應(yīng)用，管理機(jī)隊(duì)，建立邊緣到云的無縫通信等。

NVIDIA 推出了一套基于 Metropolis 和 Isaac 框架的精選 AI 工作流參考，幫助開發(fā)者快速采用整個(gè)工作流或有選擇性地集成獨(dú)立的部分，從而大幅減少開發(fā)時(shí)間和成本。三個(gè) AI 工作流包括：網(wǎng)絡(luò)視頻錄制、自動(dòng)光學(xué)檢測(cè)和自主移動(dòng)機(jī)器人。

Tirias Research 首席分析師 Jim McGregor 表示：“NVIDIA Jetson 憑借其廣泛而多樣化的用戶群與合作伙伴生態(tài)，助推了邊緣機(jī)器人和 AI 革命。隨著應(yīng)用需求的日益復(fù)雜化，我們需要從根本上轉(zhuǎn)向能夠簡(jiǎn)化和加速邊緣部署創(chuàng)建的平臺(tái)。NVIDIA 的這一重要軟件擴(kuò)展為開發(fā)者帶來了全新的多傳感器模型和生成式 AI 功能。”

5

更多精彩即將呈現(xiàn)

NVIDIA 推出了一系列系統(tǒng)服務(wù)，為每個(gè)開發(fā)者提供在構(gòu)建邊緣 AI 解決方案時(shí)必不可少的基本功能，簡(jiǎn)化與工作流的集成，使他們不必再費(fèi)時(shí)費(fèi)力地從頭開始構(gòu)建這些服務(wù)。

全新NVIDIA JetPack 6將于今年年底推出，AI 開發(fā)者將無需全面升級(jí) Jetson Linux 就能保持在計(jì)算領(lǐng)域的前沿，從而大幅加快開發(fā)進(jìn)度，不再依賴 Jetson Linux。JetPack 6 還將通過與 Linux 發(fā)行版合作伙伴的合作，擴(kuò)大基于 Linux 的發(fā)行版的選擇范圍，包括 Canonical 的優(yōu)化及經(jīng)過驗(yàn)證的 Ubuntu、Wind River Linux、并行實(shí)時(shí) Redhawk Linux 以及各種基于 Yocto 的發(fā)行版。

6

合作伙伴生態(tài)系統(tǒng)受益于平臺(tái)擴(kuò)展

Jetson 合作伙伴生態(tài)系統(tǒng)提供了從硬件、AI 軟件和應(yīng)用設(shè)計(jì)服務(wù)到傳感器、連接和開發(fā)者工具的廣泛支持。這些創(chuàng)新的合作伙伴作為 NVIDIA 合作伙伴網(wǎng)絡(luò)（NPN）中的一部分，是為市場(chǎng)上在售的眾多產(chǎn)品提供構(gòu)件和子系統(tǒng)的中堅(jiān)力量。

新版本通過采用更多具有更強(qiáng)性能與功能的 AI 技術(shù)，將助力 Jetson 合作伙伴加快產(chǎn)品上市并擴(kuò)大客戶群。

獨(dú)立軟件供應(yīng)商合作伙伴也將能夠?yàn)?Jetson 提供更多產(chǎn)品。

訪問鏈接，注冊(cè)獲得 NVIDIA Metropolis 早期訪問權(quán)限：（復(fù)制鏈接至瀏覽器打開）

https://developer.nvidia.com/login

7

NVIDIA Jetson：邊緣計(jì)算的人工智能平臺(tái)

在邊緣計(jì)算領(lǐng)域，麗臺(tái)科技提供一系列基于 NVIDIA Jetson 平臺(tái)的嵌入式系統(tǒng)和相關(guān)產(chǎn)品，包括 Jetson AGX Orin、Jetson Orin NX、Jetson Orin Nano、Jetson AGX Xavier、Jetson Xavier NX、Jetson TX2、Jetson Nano 和自主研發(fā)的載板、計(jì)算機(jī)套件，以及 Jetson 軟件用以加速 AI 應(yīng)用。