全閃存時代背景下，傳統的FC（Fibre Channel，網狀通道）存儲網絡已經無法滿足全閃存數據中心的要求，NVMe（Non-Volatile Memory express，非易失性內存主機控制器接口規范）存儲協議的出現極大提升了存儲系統內部的存儲吞吐性能、降低了傳輸時延，NoF（NVMe over Fabric）存儲網絡應運而生。在多種Fabric技術中，NVMe over RoCE（RDMA over Converged Ethernet）被廣大存儲廠商所接受，成為業界NoF的主流。華為推出的NoF+存儲網絡解決方案，相較于標準NoF方案，在性能、可靠性、易用性上均實現了顛覆性改進，是全閃存時代的最佳選擇。

為什么需要NoF+？

隨著智能時代的到來，各種業務對海量數據的存儲和讀寫需求，催生了新的存儲介質（SSD）和存儲協議（NVMe），存儲性能提升了百倍。存儲節點不是獨立存在的，多個存儲節點之間通過存儲網絡互連。存儲性能提升后，需要一個更快、更高質量的存儲網絡與之匹配，這張網絡就是NVMe over Fabric，即NoF。

NoF將NVMe協議應用到服務器主機前端，作為存儲陣列與前端主機連接的通道，可端到端取代SAN網絡中的SCSI協議，構建全以太的存儲SAN網絡，如圖1-2所示。

NoF的產生背景

NVMe over Fabric中的“Fabric”，是NVMe的承載網絡，這個網絡可以是RoCE、FC或TCP。

NVMe over FC協議標準為FC-NVMe，FC-NVMe和FC-SCSI同樣都基于FCP，IO交互基于Exchange。FC-NVMe基于傳統的FC網絡，通過升級主機驅動和交換機支持，FC-SCSI和FC-NVMe能同時運行在同一個FC網絡中。FC-NVMe能最大化繼承傳統的FC網絡，復用網絡基礎設施，基于FC物理網絡發揮NVMe新協議的優勢。

NVMe over TCP基于現有的IP網絡，采用TCP協議傳輸NVMe，在網絡基礎設施不變的情況下實現了端到端NVMe。雖然NVME over TCP網絡性能弱于FC和RoCE，但整體性能通過NVMe得到提升，對比iSCSI仍有大幅度的提升。而且NVME over TCP對網絡的要求比較低，具有更強大的兼容性，不需要單獨建設無損網絡，傳統以太網即可支持，因此在不追求高性能的情況下，NVMe over TCP將是未來市場的普遍選擇。

NVMe over RoCE是NVMe over RDMA的一種，RDMA是承載NoF的原生網絡協議，RDMA協議除了RoCE外還包括IB（InfiniBand）和iWARP（Internet Wide Area RDMA Protocol）。其中，基于以太網的RoCE目前已成為RDMA的主流網絡承載方式。NVMe over RDMA協議比較簡單，直接把NVMe的IO隊列映射到RDMA QP（Queue Pair）連接，通過RDMA SEND，RDMA WRITE，RDMA READ三個語義實現IO交互。NVMe over RoCE基于融合以太網的RDMA技術承載NVMe協議。

三種方案相比較，基于以太網的RoCE比FC性能更高（更高的帶寬、更低的時延），同時兼具TCP的優勢（全以太化、全IP化），因此NVMe over RoCE是NoF最優的承載網絡方案，也已成為業界NoF的主流技術。

基于以太網的RoCE在存儲性能、帶寬方面比FC有顯著優勢，但替換FC、聯接全閃存，標準的NoF（NVMe over RoCE）還需在3個方面加強完善：

網絡性能：零丟包

網絡零丟包是存儲網絡的基本需求，傳統以太網絡擁塞易丟包。

可靠性：秒級主備切換

存儲為了可靠性，會構建多個網絡平面，切換時間需<1s。

易用性：即插即用

FC存儲網絡場景單一、配置簡單，當前以太網絡還需針對存儲場景適應性改進。

NoF+與NoF比有哪些優勢？

基于當下業界主流的標準NoF方案，華為依靠在網絡和存儲領域的深厚積累，進一步從網絡性能、可靠性和易用性這三點都進行提升，基于智能無損網絡面向集中式存儲場景提出了NoF+解決方案，將數據中心存儲網絡進一步推向更廣闊的發展空間。

網絡性能增強：

華為NoF+方案改變了傳統以太網靜態水線方式，對網絡預測性能力進行專項優化，通過樣本計算，針對特定場景，基于獨創的iLossless智能無損算法進行精準的控制，從而預判業務對網絡的訴求，實時感知網絡流量模型，動態調整水線，可實現存儲網絡高吞吐下的零丟包，進一步提升性能。

可靠性增強：

保障業務系統可靠是存儲的根基，比如存儲的秒級切換功能就是可靠性的關鍵保障之一，傳統以太網缺乏故障主動發現和通知機制，發生故障時鏈路切換時間長，造成存儲業務中斷。華為NoF+方案推出智能感知特性，實現了從事后被動響應到主動通知、提前識別擁塞和故障。當一個節點出現故障，業務會以亞秒級響應速度切換，在高性能運行的前提下，也能維持系統的穩定可靠。

易用性增強：

存儲場景下傳統以太網需要逐點手工配置，操作復雜且易出錯。華為NoF+方案實現存儲和交換機的智能聯動，支持存儲設備的即插即用和一鍵式擴容。業務變更只需在單點配置，即可自動同步到全網，業務發放效率顯著提升，增強了在未來建設時的易用性。

華為NoF+方案是業界唯一零丟包的以太網，基于全閃存數據中心和超融合以太網絡，通過最新一代OceanStor Dorado全閃存存儲系統和CloudEngine數據中心存儲網絡交換機的聯合創新，針對傳統專用存儲網絡，在性能、可靠性、易用性上均實現了顛覆性改進，是全閃存時代存儲網絡的的最佳選擇。

NoF+的網絡架構

在數據中心常規組網里面，存儲網絡只是其中的一部分，集中式存儲是一個獨立的網絡，與業務網絡在物理上隔離，如圖1-3所示。

數據中心集中式存儲網絡架構圖

業務網絡：是指業務服務器對外提供服務通信網絡，該網絡與外部網絡互連互通。

計算網絡：是指運行OLTP/OLAP（Online Transaction Processing/Online Analytical Processing）數據庫的后臺服務計算節點所組成的物理網絡，使用不同的網卡連接業務網絡和存儲網絡，實現業務網絡和存儲網絡之間物理隔離，避免相互影響。

存儲網絡：是指計算服務器訪問存儲數據時使用通信網絡，該網絡一般是獨立的物理網絡。為了保證數據高可靠，存儲網絡支持DC級容災，支持同城雙活存儲網絡，確保業務系統發生設備故障、甚至單數據中心故障時，業務無感知自動切換，實現RPO（Recovery Point Objective）=0，RTO（Recovery Time Objective）≈0。

數據中心為了容災考慮，需要實現多數據中心互通。同城兩個數據中心互為備份，且都處于運行狀態。當一個數據中心發生設備故障，甚至數據中心整體故障時，業務自動切換到另一個數據中心，解決了傳統災備中心不能承載業務和業務無法自動切換的問題。提供給用戶高級別的數據可靠性以及業務連續性的同時，提高存儲系統的資源利用率。

在集中式存儲下，DC間同城互聯的一般組網如圖1-4所示。為了實現同城讀寫支持NVME over RoCE，需要實現同城無損網絡，即需要一套跨DC的無損網絡，每個DC部署兩臺支持智能長距無損的DCILeaf，中間通過波分設備或者裸光纖直連實現雙平面，實現端到端的RoCE無損網絡。

DC間同城互聯一般組網示意圖

NoF+的關鍵技術

流量控制

流量控制是端到端的，需要做的是抑制發送端的發送速率，以便接收端來得及接收，防止設備端口在擁塞的情況下出現丟包。華為提供了PFC死鎖檢測和死鎖預防，提前預防PFC死鎖的發生。

PFC（Priority-based Flow Control，基于優先級的流量控制）：是目前應用最廣泛的流量控制技術。對于PFC控制的隊列，當隊列在下游設備發生擁塞時，上游設備會停止發送該隊列的流量，從而實現報文的零丟包傳輸。

PFC死鎖檢測：通過對PFC死鎖進行全程監控，當死鎖檢測周期內持續收到PFC反壓幀時，設備可以通過不響應反壓幀的方式去解除PFC死鎖現象。

PFC死鎖預防：通過識別易造成PFC死鎖的業務流，修改隊列優先級，改變PFC反壓的路徑，避免PFC反壓幀形成環路，從而預防PFC死鎖的發生。

擁塞控制

擁塞控制是指對進入網絡的數據總量進行控制，使網絡流量保持在可接受水平的一種控制方法。擁塞控制與流量控制的區別在于，流量控制作用于接收者，而擁塞控制作用于網絡，往往需要轉發設備、流量發送端、流量接收端協同作用，并結合網絡中的擁塞反饋機制來調節整網流量才能起到緩解擁塞、解除擁塞的效果。

ECN（Explicit Congestion Notification，顯式擁塞通知）：是指流量接收端感知到網絡上發生擁塞后，通過協議報文通知流量發送端，使得流量發送端降低報文的發送速率，從而從早期避免擁塞而導致的丟包，實現網絡性能的最大利用。

AI ECN（Artificial Intelligence Explicit Congestion Notification）：是指通過iLossless智能無損算法，根據現網流量模型進行AI訓練，以對網絡流量變化進行預測，及時推理出最優的ECN門限，并且支持根據現網流量變化實時調整ECN門限，進行無損隊列緩存的精確管控，保障整網的最優性能。同時，AI ECN功能與隊列調度技術配合使用時，可以實現網絡中TCP流量與RoCEv2流量的混合調度，保障RoCEv2流量無損傳輸的同時實現低時延和高吞吐，讓無損業務達到最優性能。

NPCC（Network-based Proactive Congestion Control）：是一種以網絡設備為核心的主動擁塞控制技術，可以在網絡設備上智能識別設備端口的擁塞狀態，主動發送CNP（Congestion Notification Packets，擁塞通知報文）報文，準確控制服務器發送RoCEv2報文的速率，既可以確保擁塞時的及時降速，又可以避免擁塞已經緩解時的過度降速，最終確保數據中心互聯這種長距場景中RoCEv2業務的低時延和高吞吐。

iNOF

iNOF（Intelligent Lossless NVMe Over Fabric，智能無損存儲網絡）是指通過對接入主機的快速管控，將智能無損網絡應用到存儲系統，實現計算和存儲網絡融合的技術。

存儲系統為了存儲大量的數據，往往需要管理數量龐大的主機，并且存在新主機陸續接入網絡設備的情況。為了讓智能無損網絡技術更好的服務于存儲系統，提出了iNOF技術，通過對接入主機的快速管控，可以第一時間獲知新接入的主機，智能的調整智能無損網絡的相關配置，并且iNOF技術支持將主機信息通告給存儲系統，可以協助存儲系統管理主機。

審核編輯：湯梓紅