隨著業務轉型發展帶來的信息化系統建設，云應用程序正在快速發展。單體應用程序正在讓位于分布式服務，推動了數據中心基礎設施網絡流量的增加，流量的持續增長也推動著數據中心網絡往更快、更大帶寬和更低延遲的高速網絡方向發展。

Spine+Leaf網絡架構

直到幾年前，大多數的數據中心網絡還都是基于傳統的三層架構，對于大多數具有像園區網絡這樣的縱向（North-South）配置的流量模型來說是很實用的，而且三層網絡結構應用廣泛而且技術成熟穩定。一個標準的傳統三層的網絡結構如圖1-1所示：

圖1-1 傳統三層網絡架構

但隨著云計算的發展，橫向(East-West)流量在數據中心占據主導地位，涵蓋幾乎所有的云計算，虛擬化以及大數據橫向網絡在縱向設計的網絡拓撲中傳輸數據會帶有傳輸的瓶頸，因為數據經過了許多不必要的節點(如路由和交換機等設備)。主機互訪需要通過層層的上行口，帶來明顯的性能衰減，而三層網絡的原始設計更會加劇這種性能衰減。

由此，就有了IP Fabric概念，IP Fabric指的是在IP網絡基礎上建立起來的Overlay/隧道技術。如圖1-2所示為基于胖樹的Spine+Leaf拓撲結構的IP Fabric組網圖。

圖1-2 IP Fabric網絡的兩層架構

在這種組網方式中，任何兩臺服務器間的通信不超過3臺設備，每個Spine和Leaf節點全互連，可以方便地通過擴展Spine節點來實現網絡規模的彈性擴展。只要遍歷一定數量的交換機，可以在幾乎所有數據中心結構體系結構中的服務器節點之間傳輸流量。該架構由多條高帶寬的直接路徑組成，消除了網絡瓶頸帶來的潛在傳輸速度下降，從而實現極高的效率和低延遲。

圖1-3 Spine-leaf架構

用盒式機代替傳統框式機

在設計和建設一個數據中心的網絡時，我們需要充分考慮到至少未來5年的技術、行業需求發展和運營成本開支，從而更優化地使用現有的數據中心資源服務于企業核心業務。

在網絡交換機選型是整個數據中心網絡設計的關鍵因素之一。傳統的大型網絡設計選擇框式設備，以提高整個網絡系統的容量上限，并提供的有限的可擴展性，但是相應的，存在如下的限制和風險：

框式設備總體容量有限，已經不能滿足數據中心不斷增長的網絡規模需求。

核心框式設備采用雙連接方式部署，故障半徑高達50%，無法有效保障業務安全。

框式設備部署實施復雜，故障診斷和排除周期長，升級維護的業務中斷時間長。

為保障后期業務擴容，框式設備預留插槽，使得前期的投資成本提升。

所以在網絡設備選型方面，我們建議用整網盒式交換機組網，不同層級的交換機型號統一，便于維護團隊快速熟悉，同時后期的網絡架構調整，設備復用和維修替換提供可操作的空間。

建設初期的網絡投資（擁有成本TCO）也大大縮小的同時，Spine-Leaf（CLOS）架構配合盒式交換機組網，提供了可橫向擴展的能力。即便spine交換機故障離線，也僅僅影響小部分網絡帶寬，業務完全無感知。后續擴展方面，僅需要根據數據中心的規模需求，添加交換機數量和層級，相應的擴展網絡的接入容量和骨干網絡交換容量。整個網絡按需采購和部署，一切服務與應用和業務需求。

Overlay網絡

Overlay網絡是建立在已有物理網絡上的虛擬網絡，具有獨立的控制和轉發平面，對于連接到Overlay的終端設備（例如服務器）來說，物理網絡是透明的，從而可以實現承載網絡和業務網絡的分離，如圖1-4所示：

圖 1-4 Overlay/Underlay網絡概念圖

Overlay網絡有著各種網絡協議和標準，包括VXLAN、NVGRE、SST、GRE、NVO3、EVPN等。

VXLAN

VXLAN（Virtual eXtensible LAN，可擴展虛擬局域網絡）是基于IP網絡、采用“MAC in UDP”封裝形式的二層VPN技術。VXLAN可以基于已有的服務提供商或企業IP網絡，為分散的物理站點提供二層互聯，并能夠為不同的租戶提供業務隔離。VXLAN 主要應用于數據中心網絡和園區接入網絡。

圖 1-5 VXLAN模型

初始的IET FVXLAN 標準 (RFC 7348) 定義了一個基于組播、不采用控制平面的“泛洪和學習”的VXLAN。它對遠程 VXLAN 的VTEP（虛擬隧道末端點）發現和遠程終端主機MAC學習依靠數據驅動式泛洪進行。重疊廣播、未知單播和組播流量封裝到組播VXLAN數據包并通過底層組播轉發傳輸到遠程VTEP交換機。此類部署中的泛洪可能給解決方案的可擴展性帶來挑戰。在底層網絡中啟用組播功能的要求也會帶來挑戰，因為某些組織不希望在其數據中心或廣域網網絡中啟用組播。

圖 1-6 flood-learn

如圖1-6，假設最左側虛機已經知道目的MAC了（VTEP中的L2 Table已經老化，虛機中的ARP cache還沒老化）。當最左側虛機想ping最右側虛機，ping包送到VTEP，因為在VTEP中找不到對應的Remote VTEP，VTEP會做如下操作：

（1）原始的Ethernet Frame被封裝成VXLAN格式，VXLAN包的外層目的IP地址為組播地址。

（2）VXLAN數據包被發送給組播內所有其他VTEP。

VXLAN-EVPN部署彈性網絡

VXLAN由RFC7348定義，其中只定義了數據層的行為，并沒有指定VXLAN控制層。在VXLAN技術早期，通過數據層的來獲取轉發信息，在實現上較為簡單，相應的技術門檻較低，有利于廠商實現VXLAN。但是隨著網絡規模的發展，完全依賴數據層做控制會造成網絡中廣播組播風暴，因此VXLAN也需要有一個控制層。

VXLAN 重疊網絡在“泛洪和學習”模式下運行，在此模式下，終端主機信息學習和 VTEP 發現均由數據平面驅動，在VTEP之間沒有控制協議分發終端主機可達性信息，要克服此局限，可以將多協議邊界網關協議以太網虛擬專用網絡 (MP-BGP EVPN) 用作VXLAN控制平面。

有了控制層數據，數據層就簡單多了。Server A想訪問Server B，通過查找本地VTEP L2 Table找到VTEP2，再封裝成VXLAN數據發送到VTEP2，VTEP2將VXLAN解封裝，轉發給本地的Server B。所以可以看出，從數據層面角度來看，有沒有EVPN效果都是一樣的。EVPN只負責VXLAN的控制層面，也就是MAC轉發信息的傳輸，對VXLAN數據層面沒有影響。

圖 1-7 EVPN作為控制平面

VXLAN作為新型的網絡隔離技術，在RFC 7348定義中有24比特，支持多達16M（約1600萬）租戶隔離，有效地解決了云計算中海量租戶隔離的問題。在VTEP本地進行VLAN 隔離和跨越設備的VNI隔離（VLAN到VNI的映射），組成結合物理網絡隔離和虛擬網絡的Overlay網絡。

采用EVPN作為VXLAN的控制平面具有以下優勢：

可實現VTEP自動發現、VXLAN隧道自動建立，從而降低網絡部署、擴展的難度。

EVPN可以同時發布二層MAC信息和三層路由信息。

可以減少網絡中的泛洪流量。

我們的方案

在HPC、AI、5G、云計算場景中的，數據中心網絡需要滿足帶寬、時延、穩定性的高要求，同時支持網絡虛擬化。納多德NADDOD與NVIDIA推出支持25/100/200GbE到服務器、高密度100/200/400GbENvidiaOpen Ethernet Spectrum交換機和無控制器網絡虛擬化的開放平臺。可部署在第2層和第3層云設計中、基于覆蓋的虛擬化網絡中，或作為高性能、關鍵任務以太網存儲結構的一部分。可跨各種應用領域（例如云計算、數據存儲、人工智能等）提供行業領先的性能、可擴展性、可靠性和價值。由此，我們推出了如下兩種方案：

針對25G接入100G骨干場景：

NVIDIA SN3700C+ SN3420組合方案:

SN3700C是高密度 32x100GbE SPINE Switch

SN3420 是具有原生 25GbE 端口的LEAF Switch，支持 48x25GbE 和 8x100GbE 端口

也可也選擇NVIDIA SN2700（32x100GbE）+ SN2410（ 48x25GbE 和 8x100GbE）組合方案，時延可低至300ns，滿足更低時延需求。

針對100G接入400G骨干場景：

NVIDIA SN4700+ SN4410組合方案：

SN4700是高密度 32x400GbE SPINE Switch

SN4410 支持48x100GbE 和 8x400GbE 端口，QSFP28-DD接口可一分二QSFP28，提供100G的接入能力，用于連接主機100G接口，或者下一級100G上聯口。

我們的優勢

高性能100/200/400 GbE數據平面

網絡是數據中心服務器流量的自然匯聚點。不同租戶流量之間的網絡性能和“公平性”至關重要。

NVIDIA Spectrum交換機具有完全共享的整體式數據包緩存架構，可實現公平帶寬共享。支持所有數據包大小的 100/200/400 GbE 流量的無阻塞線速L3服務，且SN2000系列在直通模式下支持 300ns 的零抖動延遲支持。是高性能低延遲需求的理想選擇。

RoCE over EVPN-VXLAN

數據中心網絡部署方案和產品越來越成熟和標準化，有效的提升了業務部署的速度，并降低運維的成本。于此同時，業務需求推動數據中心應用也對基礎設施提出更高的需求，包含算力，存儲和網絡資源。為了能匹配上層需求，算力/存儲/網絡資源的橫向擴展，就網絡設計而言，網絡虛擬化需要在提升規模的同時，對于高性能的業務提供支持。網絡虛擬化與RoCE的結合，使得大型高性能數據中心的方案更加完整。

WJH功能快速故障定位，提升運維效率

實時的網絡故障可視化監控，是運維大規模網絡比不可少的技術手段。現代數據中心的技術要求也證明了，簡化組網協議，深度實時的網絡可視化能力，是整體技術發展的趨勢。NVIDIA Spectrum 交換機通過 NVIDIA What Just Happened（故障快照）支持詳細的上下文遙測數據。故障快照可在問題發生后，以異常事件的形式上送給網管或者第三方監控平臺，并提供報文抓取和芯片級的問題原因。無論是否為配置問題，運維人員可以直接看到故障影響的業務和原因，進而快速的采取措施，排除異常，從而大大縮短了解決問題的平均時間。

總結和展望

根據企業數據中心的發展趨勢和技術預測，數據中心將逐步分布式化，多數據中心也正逐漸成為數據中心發展的趨勢，網絡技術作為數據中心基礎設施的重要一環，也將持續打造超高速網絡連接，提升系統訪問效率和用戶服務體驗。

NVIDIA Spectrum 以太網交換機Cumulus Linux為業界帶來了第一個開放且無控制器VXLAN 解決方案。它將高度可擴展的 BGP EVPN與VXLAN 解決方案相結合，在許多大型數據中心通過Spine-Leaf架構在整個網絡中提供出色的彈性和低延遲，根據需要輕松進行水平擴展，推動數據中心網絡的高質量發展。

審核編輯：湯梓紅