2022年上半年 NVIDIA DOCA 1.3版本發布,對于開發者們更好地使用DPU,尤其是新一代的英偉達BlueField DPU進行簡單靈活的軟件開發,有著更好的幫助。7月5日,英偉達的相關技術專家和首屆NVIDIA DPU中國黑客松優秀開發者一起線上作了精彩的分享。
DOCA是Data-Center-Infrastructure-On-A-Chip-Architecture的縮寫,也就是“線上數據中心基礎設施體系結構”。它是一個為BlueField DPU量身定做的軟件開發平臺,主要的目的是為開發者打造一個全面開放的開發平臺,支持廣大開發者可以在BlueField DPU上進行簡單靈活的軟件開發,讓開發者可以快速地創建BlueField DPU,加速高性能的一些應用程序和服務。DOCA是依托于面向未來的API驅動的思維模式來構建的,可以讓BlueField DPU硬件加速變得更加易用,從而實現非凡的數據中心的性能、效率,還有安全性。DOCA使開發者能夠利用行業標準的API,在BlueField DPU上做快速的創建應用程序和服務,類似于我們GPU上的CUDA,它能夠解鎖數據中心里的創新功能,并且能夠更好地向下一代或者未來新一代BlueField DPU來做兼容性和進一步的持續支持。DOCA可以加快應用程序和服務的上市時間,讓合作伙伴和客戶在各自競爭領域里獲得成功。并基于BlueField DPU服務場景發揮關鍵的靈魂作用,可以釋放DPU的潛力。
英偉達網絡技術專家崔巖先介紹了NVIDIA DOCA 的前幾代軟件版本的歷史來源。
最早的DOCA 1.0是在2020年GTC秋季大會上,與BlueField-2 DPU一同發布的,后面持續演進到DOCA 1.1版本,更加完善了整個DOCA軟件棧,提供了DOCA SDK、運行時、以及DOCA服務。到了DOCA1.2版本,也就是在1.3之前使用的版本,在這個版本上更加加強了在零信任分布式安全解決方案上的支持,直到我們這次5月份新發布的DOCA 1.3,它提供了121個新的API開發接口,也提供了一些全新和增強的功能,包括優化數據流插入的DOCA Flow庫、通信通道庫、正則表達式庫、我們App ShieldSDK、基于OVN的IPSec加密的完全卸載,以及新增的一些DOCA服務,比如HBN,就是我們在DPU上實現了三層的路由功能。
從DOCA軟件開發套件來看,它主要是為了來創建和構建應用程序所需的所有組件,包括驅動程序、抽象的API庫、各種開發工具、參考源代碼、示例程序和開發所需相關的文檔,現在到了DOCA 1.3版本,它已經是比較完善的軟件棧,開發者可以輕松地基于這個軟件棧在本地 BlueField DPU 上或X86的開發容器中搭建開發環境,來快速地開發自己想要實現的應有程序或服務。
DOCA框架能夠給開發者提供一個一致的開發體驗,既可以統一訪問BlueField DPU上各種硬件資源,從而簡化網絡存儲安全和基礎設施管理服務相關的開發,開發者也不用擔心開發環境的構建和部署復雜程度,基本上DOCA是個即插即用的方式,可以讓開發者很容易地來使用這個軟件棧。
同時,還為開發者提供了基于底層API抽象封裝的高級API庫,這樣對于開發者來講,可以大大地節省他的開發時間,更早或更快地來使大的開發應用投入到市場,獲得更大的投資收益。當然,DOCA還提供了相應的容器化的DOCA服務,可以在BlueField DPU上直接進行部署,來提供相應的應用和解決方案。客戶不需要在DOCA服務上再做進一步的開發。
在線上分享會,專家崔巖特別著重介紹了三個DOCA 1.3上的新功能或增強功能。
圖:NVIDIA DOCA 1.3的主要新功能介紹
第一個要介紹的是正則表達式庫,這個正則表達式也稱為Regular Expression(RegEx),是許多腳本語言使用標準模式匹配的工具,有了它可以創建與文本模式匹配的一些過濾器,而不僅是單個單詞或短語的匹配。正則表達式是專為高吞吐量、低延時、深度包檢測的應用程序而設計,這些應用程序需要數據包,可以進行負載 檢測和異常監測,通過正則表達式模式匹配字符串來實現相應的應用功能。這個正則表達式還可以做一個安全遙測的功能,可以在DOCA1.3上更好地提供一些安全方面的應用,比如應用識別、入侵防御的系統、URL的過濾、文件的掃描、深度數據包檢測,以及App Shield的內存掃描。這些都會用到正則表達式庫的相應功能,能為這些安全軟件開發提供底層的API支持。
第二個需要強調的或者需要介紹的,是我們基于OVN的數據路徑加密功能。在我們之前的1.2版本能將主機內的IPsec相應的功能卸載到DPU之上,構建IPsec的控制平面,在vSwitch控制平面上實現IPsec加密和解密。新的增強版本上,我們把這個功能相當于擴展到整個OVN范疇之內,不同主機之間都可以用這個IPsec的方式來創建不同的通道,進行數據的加密,保證數據在不同主機之間傳遞的時候,它是一個加密的狀態。當這個數據達到某個主機時,DPU會把它解密成明文,把這些明文數據再傳遞給主機側來為業務應用提供數據。這是OVN數據路徑加密的,在DOCA1.3上的一個新增功能。
最后一個要介紹的是DOCA基于主機的網絡,我們簡稱為“HBN”。這個功能是在NVIDIA BlueField DPU上基于主機的網絡上可以進行管理和監控同一節點上虛擬機和容器之間的流量,也就是說我們在一個服務器主機上可能創建了多個虛擬機或多個容器,在它們之間會有一些數據流量,不僅是轉發二層數據流量,還要實現三層路由功能,我們也把它實現在了BlueField的DPU之上,通過基于主機網絡的DOCA服務。而且它還可以做加密和解密,進行節點流量的監控,同時也會把一些原來是依賴以TOR交換機上面的功能也在DPU上面得到了實現,這種方式會徹底改變客戶構建和思考整個數據中心網絡構建的方式。
隨著BlueField DPU智能化程度的提高,在整個網絡里把功能都會集中在BlueField DPU之上去做相應的實現,這樣就會降低對TOR交換機的相關要求,BlueField DPU還可以提供一個隔離的環境,這樣可以做更好的安全性的部署。
歸根到底,基于主機的網絡HBN它是一個DOCA的服務,像我前面介紹的那樣,它實際不需要客戶再在上面做過多的開發,直接就可以通過容器的方式可以直接在BlueField DPU上面做部署,通過作為BGP的路由器來使用,可以做主機內的虛擬機或容器之間的三層數據轉發路由,也可以對主機外相應的其他節點上的數據進行三層轉發,使二層網絡和三層網絡都得以擴展。當然,也會擴展到云計算里多租戶的環境之下。
在整個BlueField DPU上實現了這些動態的路由協議之后,可以大大地加速整個網絡數據流量處理性能,同時BlueField DPU還可以提供相應的安全保障,這是HBN會給BlueField DPU和未來客戶在數據中心網絡部署的時候會帶來全新的方式。
分享會上首屆NVIDIA DPU中國黑客松亞軍團隊、優秀開發者代表胡效赫也很高興地分享了他及其團隊使用DOCA的開發經驗與心得。
胡效赫是一位來自高校的DPU開發者,其黑客松參賽團隊是由一位博士后和兩位博士生組成的,研究方向是云計算和分布式系統。“從2020年NVIDIA發布BlueField DPU開始,我們就在關注相關的學術界和業界的信息。今年通過微信上的活動推送,我們得知并有機會參與了首屆NVIDIA DPU中國黑客松,并獲得了亞軍。”
在開發過程中通過專家的指導充分地了解了DPU的硬件特性,DOCA良好的可編程性讓開發者可以快速實現并驗證創新的想法。同時開發者也可以對DOCA的API進行深度、定制化開發,實現更好的性能和更豐富的功能。
胡效赫介紹說:“我們開發團隊提出了DeepTrace項目,面向DPU驅動的基礎設施的網包級函數粒度業務可觀測性。我們以DOCA提供的網流及粗粒度可觀測性為基礎,對應的是DOCA中的Netflow API庫,結合DPU的高性能網絡處理功能,對應的是DPU的ASAP2網包分類引擎,以及DOCA中的Flow API庫,以及數據平面和控制平面的可編程能力,將可觀測性的力度提升至網包級,并精確到每個函數功能。同時,我們也做到了幾乎可以忽略不計的性能損耗。”
“通過DOCA和項目開發來具體介紹我們是如何創新地設計DeepTrace項目的。業務流量首先經過DeepTrace預選器,再經由原始的GPU程序進行處理,在DPU程序中會調用DeepTrace的觸發器來實現相應點位的觀測,然后被觀測的數據會被匯總收集至分析器,通過數據的重組和分析得到相應的結果,比如得到異常流量的檢測以及業務問題的定位等。基于DOCA開發DeepTrace的整體編程模式和在CPU上進行DPDK網絡功能的開發功能類似,這種模式提高了我們的開發效率。”
“具體來看,其中觸發器部分的挑戰是如何以最小的代價收集鏈式函數和網包的信息,我們采用的方案是以統一化、輕量化的函數內觸發器實現,具體在開發過程中,我們將DOCA的NetFlow庫修改為網包粒度,而需要觀測的函數以API的形式調用觸發器即可。”
“在預選器部分的挑戰是如何處理大規模原始流量,并在函數鏈中記錄網包。我們采用的方案是通過硬件卸載的預選器進行標記和過濾。具體在開發過程中我們調用DOCA的Flow庫配置所需預選的顆粒規則即可實現,因為預選功能實際由硬件卸載完成。所以,方案帶來的性能損耗幾乎可以忽略不計劃。在分析器部分,我們由運行在ARM控制平面的開源開放工程實現。”
對于DOCA開發者免費使用卓越中心的DOCA開發環境的開放時間和規則,主辦方也在線上作了解釋。具體可以參考以下的兩張PPT截圖,供NVIDIA的DPU開發者參考。
卓越中心的運營方仍然還是之前所授權的兩家公司:麗臺信息和信弘智能科技。
NVIDIA網絡與AI產品的最新進展,元宇宙最火的硬件平臺原來是它!
NVIDIA網絡市場總監孟慶也在分享會上順便介紹了一下公司網絡產品最新進展,包括在眾多開源聯盟參與標準建設、開放網絡軟件等方面的進展,以及NVIDIA成為Linux基金會OPI項目創始成員等。
也提到了NVIDIA在全球Top 500超級計算機互連中占主導地位的成就,如上圖所示。有197個 Top 500強系統中采用了NVIDIA InfiniBand 網絡。
孟慶還介紹了Spectrum-4 400Gbps 端到端以太網平臺,其中包括 Spectrum-4 交換機、ConnectX-7智能網卡、BlueField-3 DPU及相關軟件可以有力支撐炙手可熱的元宇宙(Omniverse)。“在數字孿生里,Omniverse標準的OVX SuperPod,我們采用的方案必須得是Spectrum-4 400G這套網絡平臺這樣才能更好的實現您所需的數字孿生,由數字人-數字機器-物理世界做相應的互聯”孟慶說。
原文標題:NVIDIA DOCA 1.3版本發布 元宇宙最火開發利器現身
文章出處:【微信公眾號:電子發燒友網】歡迎添加關注!文章轉載請注明出處。
-
軟件
+關注
關注
69文章
4789瀏覽量
87169 -
DPU
+關注
關注
0文章
354瀏覽量
24133 -
代碼
+關注
關注
30文章
4752瀏覽量
68362
原文標題:NVIDIA DOCA 1.3版本發布 元宇宙最火開發利器現身
文章出處:【微信號:elecfans,微信公眾號:電子發燒友網】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論