新型GPU Operator、Helm chart與NGC-Ready系統(tǒng)幫助各企業(yè)遷移至邊緣與混合平臺(tái)。

如今，AI已不再僅僅只停留在研究階段，而是已經(jīng)被應(yīng)用于各企業(yè)機(jī)構(gòu)中，幫助它們解決實(shí)際問題。而作為企業(yè)機(jī)構(gòu)，它們需要清楚地知道應(yīng)該將AI模型部署于何處，才能幫助其以更快的速度做出決策。

隨著AI、物聯(lián)網(wǎng)以及即將到來的5G基礎(chǔ)架構(gòu)三者之間正在走向互融。對(duì)于各企業(yè)而言，如今已然時(shí)機(jī)成熟——將其模型從數(shù)據(jù)中心推向邊緣。在邊緣，數(shù)十億傳感器正在源源不斷地傳輸數(shù)據(jù)，實(shí)時(shí)決策已成為現(xiàn)實(shí)。

大規(guī)模部署AI工作負(fù)載的各企業(yè)正在綜合運(yùn)用本地?cái)?shù)據(jù)中心和云端，將AI模型置于數(shù)據(jù)收集點(diǎn)。但是，如果企業(yè)缺乏相應(yīng)的IT專業(yè)知識(shí)，那么在諸如零售商店或室內(nèi)停車場(chǎng)這類邊緣地點(diǎn)部署工作負(fù)載，將變得非常困難。

盡管Kubernetes簡(jiǎn)化了部署、管理與擴(kuò)展應(yīng)用過程中許多手動(dòng)流程，為跨越本地、邊緣與云端帶來了一致的云原生部署方法。

但是，遠(yuǎn)程設(shè)置Kubernetes集群以管理數(shù)百、甚至數(shù)千款應(yīng)用卻可能相當(dāng)麻煩，特別是在每個(gè)邊緣區(qū)域都不容易獲得人工專業(yè)支持的情況下。而如今，我們能夠通過NVIDIA EGX 邊緣超級(jí)計(jì)算平臺(tái)化解這些難題。

簡(jiǎn)化AI部署

NVIDIA EGX是一個(gè)云原生的軟件定義平臺(tái)，旨在實(shí)現(xiàn)并高效運(yùn)行大規(guī)模混合云與邊緣運(yùn)維。

該平臺(tái)內(nèi)的EGX堆棧包含NVIDIA驅(qū)動(dòng)程序、Kubernetes插件、NVIDIA容器運(yùn)行時(shí)以及GPU監(jiān)測(cè)工具，均通過NVIDIA GPU Operator提供。Operator負(fù)責(zé)整理運(yùn)行信息與工作流，利用Kubernetes自動(dòng)完成容器化應(yīng)用的生命周期管理。

GPU Operator是一個(gè)由Helm chart所部署的云原生方法，針對(duì)GPU支持的Kubernetes系統(tǒng)配置，用于自動(dòng)部署所有必要的組件，并完成組件標(biāo)準(zhǔn)化。NVIDIA、Red Hat及云原生社區(qū)內(nèi)的其他公司協(xié)作創(chuàng)建了GPU Operator。

GPU Operator還能夠讓IT團(tuán)隊(duì)像管理CPU驅(qū)動(dòng)系統(tǒng)那樣，管理GPU支持的遠(yuǎn)程服務(wù)器。這使得其可以利用單一鏡像輕松完成一組遠(yuǎn)程系統(tǒng)初啟，在無需現(xiàn)場(chǎng)額外技術(shù)專長(zhǎng)的情況下運(yùn)行邊緣AI應(yīng)用程序。

EGX堆棧架構(gòu)由諸如：Canonical、Cisco、微軟、Nutanix、Red Hat和Vmware等混合云管理合作伙伴提供支持，以進(jìn)一步簡(jiǎn)化部署，并提供從云端到數(shù)據(jù)中心一直到邊緣的一致體驗(yàn)。

NGC-Ready for Edge系統(tǒng)

由全球領(lǐng)先的服務(wù)器制造商所提供的NGC-Ready系統(tǒng)已通過NVIDIA面向GPU優(yōu)化容器的軟件中心 NGC 的AI軟件功能與性能驗(yàn)證。

在洛杉磯舉行的世界移動(dòng)通信大會(huì)（MWC）上，NVIDIA宣布利用面向邊緣的NGC-Ready 系統(tǒng)進(jìn)一步擴(kuò)展NGC-Ready計(jì)劃，大力支持邊緣部署。這些系統(tǒng)經(jīng)過了邊緣部署要求的更多安全與遠(yuǎn)程系統(tǒng)管理測(cè)試。此類合格系統(tǒng)可完美運(yùn)行EGX堆棧，為混合部署提供一個(gè)輕松入口。

已通過驗(yàn)證的NGC-Ready for Edge系統(tǒng)由眾多全球領(lǐng)先的制造商提供，包括：Advantech、Altos Computing、ASRock RACK、Atos、Dell Technologies、富士通、GIGABYTE、HPE、聯(lián)想、MiTAC、QCT， Supermicro 和TYAN。

擴(kuò)展NGC注冊(cè)

為部署與管理AI軟件，NGC現(xiàn)推出Helm chart注冊(cè)服務(wù)。Helm chart是強(qiáng)大的云原生工具，用于定制并自動(dòng)完成在Kubernetes各集群內(nèi)的各種應(yīng)用部署。

NGC的Helm chart注冊(cè)包含AI框架、GPU Operator等NVIDIA軟件，以及面向醫(yī)療影像的NVIDIA Clara，和用于智慧零售以及工業(yè)檢查的NVIDIA Metropolis。NGC還托管針對(duì)第三方人工智能應(yīng)用的Helm chart，包括面向車輛分析的DeepVision、用于視頻搜索的IronYun，和執(zhí)行流分析的Kinetica。

借助NGC-Ready支持服務(wù)，開發(fā)者與運(yùn)維團(tuán)隊(duì)可以為其NGC-Ready for Edge系統(tǒng)獲得專用的Helm注冊(cè)，以推動(dòng)與分享Helm chart。這能夠讓各團(tuán)隊(duì)充分利用一致、安全且可靠的環(huán)境，加速集成與部署的持續(xù)循環(huán)。

采用NGC部署AI軟件

如需跨不同平臺(tái)輕松配置GPU驅(qū)動(dòng)的Kubernetes集群，利用Helm chart與容器快速部署人工智能應(yīng)用.