以太網(wǎng)RDMA RoCE的技術局限

上期我們講到了RDMA的WHY，WHAT & HOW(AI網(wǎng)絡背景下RDMA的Why，What & How)，這一期我們來談一談RDMA的不足。

2024-10-22 標簽：以太網(wǎng)網(wǎng)絡AI 221 0

IB Verbs和NVIDIA DOCA GPUNetIO性能測試

NVIDIA DOCA GPUNetIO 是 NVIDIA DOCA SDK 中的一個庫，專門為實時在線 GPU 數(shù)據(jù)包處理而設計。它結合了 GPUDi...

2024-08-23 標簽：以太網(wǎng)NVIDIAgpu 524 0

基于RDMA技術的Mayastor解決方案

1.? 方案背景和挑戰(zhàn) 1.1. Mayastor簡介 OpenEBS是一個廣受歡迎的開源云原生存儲解決方案，托管于CNCF（云原生計算基金會）之下，旨...

2024-08-20 標簽：云計算DPURDMA 1178 0

深度解讀RoCE v2的核心技術原理

RoCE v2是一種專為實現(xiàn)以太網(wǎng)環(huán)境下低延遲、高吞吐量數(shù)據(jù)傳輸而設計的RDMA協(xié)議。相較于涉及多重處理層次的傳統(tǒng)數(shù)據(jù)傳輸方式，RoCE v2實現(xiàn)了系統(tǒng)...

2024-04-29 標簽：cpu數(shù)據(jù)傳輸網(wǎng)絡交換機 4424 0

RDMA在高速網(wǎng)絡中的應用及其實現(xiàn)策略

在大型模型應用領域，要獲得最佳性能，關鍵在于精密配置，特別是當GPU與InfiniBand網(wǎng)卡協(xié)同工作時。這里參考了合作伙伴NVIDIA推出的DGX系統(tǒng)...

2024-04-22 標簽：cpugpu適配器 601 0

什么是內(nèi)存語義？CXL是如何劃分語義的

從IB提供的具體操作來看，Send/Receive，RDMA_Read，RDMA_Write和ATOMIC操作實際上都是針對內(nèi)存的操作，所不同的是，Se...

2024-04-08 標簽：內(nèi)存人工智能傳輸層 4746 0

RDMA技術在Apache Spark中的應用

背景介紹 在當今數(shù)據(jù)驅(qū)動的時代，Apache?Spark已經(jīng)成為了處理大規(guī)模數(shù)據(jù)集的首選框架。作為一個開源的分布式計算系統(tǒng)，Spark因其高效的大數(shù)據(jù)處...

2024-03-25 標簽：數(shù)據(jù)集RDMASPARK 1478 0

利用CXL技術重構基于RDMA的內(nèi)存解耦合

本文提出了一種基于RDMA和CXL的新型低延遲、高可擴展性的內(nèi)存解耦合系統(tǒng)Rcmp。其顯著特點是通過CXL提高了基于RDMA系統(tǒng)的性能，并利用RDMA克...

2024-02-29 標簽：數(shù)據(jù)中心PCIe通信機制 2655 0

高性能存儲實現(xiàn)新突破的英特爾至強處理器

基于第四代英特爾 至強 可擴展處理器的 Curve 高性能分布式存儲方案在吞吐、時延、TCO 等方面具備出色優(yōu)勢，能夠為金融、互聯(lián)網(wǎng)、交通、能源等各行業(yè)...

2024-02-26 標簽：處理器英特爾RDMA 454 0

TCP發(fā)展受阻的原因是什么呢？RDMA和Linux TCP技術解析

在考慮今天如何開始時，我回顧了一下這兩天關于硬件和軟件之間分歧的主題演講。主要探討了擁塞控制如何在這個不斷發(fā)展的領域中增長和演變。

2024-02-20 標簽：加速器LinuxTCP 975 0

RDMA RNIC虛擬化方案

遠程直接內(nèi)存訪問（Remote Direct Memory Access，RDMA）技術允許應用程序繞過操作系統(tǒng)內(nèi)核，以零拷貝的方式和遠程計算機進行網(wǎng)絡...

2024-01-23 標簽：cpu計算機內(nèi)存 1827 0

一文詳解DCQCN擁塞控制算法

DCQCN 是一種基于速率的端到端擁塞協(xié)議，它建立在 QCN 和 DCTCP 之上。DCQCN 的大部分功能是現(xiàn)在網(wǎng)卡上（而不是交換機上，或者操作系統(tǒng)上）。

2024-01-23 標簽：cpu數(shù)據(jù)中心TCP 5905 0

阿里云是如何使用RDMA技術

在大規(guī)模incast場景下DCQCN并不能很好的工作，具體體現(xiàn)在： DCQCN是一種被動控制，在CC起作用之前可能已經(jīng)出現(xiàn)了性能下降（比如ECN報文...

2024-01-11 標簽：以太網(wǎng)IP協(xié)議數(shù)據(jù)中心 1453 0

深入了解RDMA技術

Explorer，專注于高性能網(wǎng)絡、虛擬化網(wǎng)絡及網(wǎng)卡的測試方案研究。熟悉dpdk，rdma，sdn等技術的應用與解決方案。

2023-12-26 標簽：數(shù)據(jù)傳輸網(wǎng)卡AI 1630 0

RDMA和TCP/IP有什么區(qū)別

在分布式存儲網(wǎng)絡中，我們使用的協(xié)議有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB屬于RDMA (RemoteDirect M...

2023-11-30 標簽：網(wǎng)絡協(xié)議TCPRDMA 1688 0

基于V682-SONiC交換機的實現(xiàn)網(wǎng)絡丟包檢測的可視化

網(wǎng)絡丟包是網(wǎng)絡通信中較為常見的故障，越早獲取到丟包信息和丟包原因才可能越早進行排障。SONiC的drop counter功能可以將交換芯片對丟包信息的監(jiān)...

2023-11-09 標簽：交換機數(shù)據(jù)中心網(wǎng)絡通信 1262 0

交換機技術趨勢分析：以太網(wǎng)交換機vsIB交換機

根據(jù)IDC數(shù)據(jù)，2021年中國交換機市場前五大品牌廠商分別為華為、新華三、銳捷網(wǎng)絡、思科和邁普技術，其市場份額分別為40.0%、36.2%、12.2%、...

2023-11-08 標簽：以太網(wǎng)交換機路由器 6503 0

RDMA(遠程直接內(nèi)存訪問)傳輸協(xié)議概述和應用案例

人工智能 (AI) 的興起極大地提高了對強大、高效和可擴展的網(wǎng)絡傳輸協(xié)議的需求。本文深入探討了 RDMA（遠程直接內(nèi)存訪問）傳輸協(xié)議，并重點討論 ROC...

2023-10-25 標簽：AITCP人工智能 2615 0

基于Corundum架構的100G RDMA網(wǎng)卡設計

傳統(tǒng)TCP/IP技術處理數(shù)據(jù)包需通過操作系統(tǒng)和其他軟件層，導致數(shù)據(jù)在系統(tǒng)內(nèi)存、處理器緩存和網(wǎng)絡控制器緩存間頻繁復制，增加了服務器CPU和內(nèi)存的負擔，特別...

2023-10-24 標簽：內(nèi)存網(wǎng)卡Verilog 1189 0