正如我們喜歡指出的那樣，當(dāng)談到高性能、低延遲的 InfiniBand 式網(wǎng)絡(luò)時(shí)，Nvidia 并不是唯一的選擇，自 20 世紀(jì) 90 年代末 InfiniBand 互連出現(xiàn)以來(lái)就一直不是唯一的選擇。三年前從英特爾收購(gòu)了 Omni-Path 互連業(yè)務(wù)的Cornelis Networks 就是另一種選擇。雖然它跳過(guò)了 200 Gb/秒一代，但仍在銷售改進(jìn)的 100 Gb/秒 Omni-Path Express 變體，并為未來(lái)的 400 Gb/秒一代奠定了基礎(chǔ)。

Cornelis Networks 的高管們從 SilverStorm 和 PathScale 的 InfiniBand 開始，最終成為 QLogic 的 TruScale InfiniBand 的基礎(chǔ)，而 QLogic 又成為來(lái)自 Mellanox Technologies 的 InfiniBand 的替代供應(yīng)商。早在 2012 年 1 月，英特爾就以 1.25 億美元的價(jià)格從 QLogic 手中收購(gòu)了 TruScale InfiniBand 業(yè)務(wù)——這似乎是很久以前的事了？三個(gè)月后又斥資 1.4 億美元從Cray 收購(gòu)了“Gemini”XT 和“Aries”XC 互連業(yè)務(wù)，將它們整合起來(lái)創(chuàng)建 Omni-Path 互連。

從技術(shù)上講，這是 InfiniBand 主題的三種不同變體，而 Cornelis Networks 正在做的事情在許多方面代表了第四種變體。

InfiniBand 的最初目標(biāo)是取代 PCI-Express、光纖通道，或許還有以太網(wǎng)，并創(chuàng)建融合結(jié)構(gòu)。TruScale 變體采用了一種稱為 Performance Scale Messaging (PSM) 的技術(shù)，QLogic 當(dāng)然認(rèn)為該技術(shù)比 InfiniBand verbs approach更好，并且其創(chuàng)建者認(rèn)為可以提供更好的擴(kuò)展性。但 PSM 已有二十多年歷史，Cornelis Networks 正在基于 libfabric 驅(qū)動(dòng)程序構(gòu)建新的軟件堆棧，該驅(qū)動(dòng)程序是 Linux 操作系統(tǒng)的一部分，并取代了 QLogic TruScale 和 Intel Omni-Path 中的 PSM 提供程序與Open Fabrics Interfaces 工作組的 OPX 提供商進(jìn)行堆棧。

這個(gè)新堆棧經(jīng)過(guò)開發(fā)，可以在 Cornelis Networks 從 Intel 購(gòu)買的 100 Gb/秒 Omni-Path 硬件上運(yùn)行（該公司稱之為 Omni-Path Express，縮寫為 OPX），并且將是未來(lái) 400 Gb 上唯一可用的堆棧/sec Omni-Path Express CN5000 系列目前正在開發(fā)中。

libfabric 庫(kù)是 OFI 標(biāo)準(zhǔn)的第一個(gè)實(shí)現(xiàn)，它是一個(gè)位于網(wǎng)絡(luò)接口卡和 OFI 提供程序驅(qū)動(dòng)程序之上的層，位于 MPI、SHMEM、PGAS 和通常在 HPC 分布式計(jì)算系統(tǒng)上運(yùn)行的其他內(nèi)存共享協(xié)議之間和人工智能。它看起來(lái)像這樣：

以下是 Omni-Path Express 主機(jī)軟件堆棧現(xiàn)在的樣子，其中第二代 PSM2 提供程序和本機(jī) OFI 提供程序并行運(yùn)行：

您會(huì)注意到，原始 OpenFabrics Alliance Verbs 仍然可以在 Linux 內(nèi)核模式下使用，以支持舊版協(xié)議和框架的 InfiniBand verbs 提供程序，但 PSM2 和 OFI 提供程序都在 Linux 用戶空間中運(yùn)行，其MPI的各種實(shí)現(xiàn)也是如此——它們有很多。

在下一代 CN5000 平臺(tái)中，紫色的 PSM2 內(nèi)容將消失，我們推測(cè) Verbs 提供程序以及運(yùn)行在 Linux 內(nèi)核中的 OFA Verbs 代碼之上的內(nèi)容也會(huì)消失。Cornelis Networks 軟件工程副總裁 Doug Fuller 本周在Hot Interconnects 30 會(huì)議上發(fā)表演講，他表示，OPX 和 Nvidia InfiniBand 之間的主要區(qū)別之一是 Cornelis Networks 使用的所有堆棧都將是開放的源并添加到內(nèi)核的上游。

“我們的 Omni-Path OFI 驅(qū)動(dòng)程序是 Linux 內(nèi)核的一部分，”Fuller 在演講中解釋道。“我的意思是，我們?cè)趦?nèi)核開發(fā)方面也首先處于上游。因此，我們所有的補(bǔ)丁都在上游合并，并且我們有來(lái)自 Linus 的火焰來(lái)證明這一點(diǎn)。然后我們合并。我們鼓勵(lì)它向下游合并并集成到各種 Linux 發(fā)行版中。因此，在大多數(shù)情況下，如果您啟動(dòng)現(xiàn)代 Linux 發(fā)行版，您的驅(qū)動(dòng)程序已經(jīng)存在，無(wú)需安裝其他軟件。我們致力于上游優(yōu)先開發(fā)，我們希望確保回饋我們使用的社區(qū)，并為用戶提供良好的用戶體驗(yàn)。”

三年來(lái)我們一直希望看到的，以及 Fuller 向 Hot Interconnects 觀眾提供的，是備受期待的 Cornelis Network 硬件路線圖。話不多說(shuō)，這里是：

HPC 中心、云構(gòu)建商和超大規(guī)模企業(yè)都喜歡可預(yù)測(cè)的路線圖，這些路線圖使每一代的比特轉(zhuǎn)移成本越來(lái)越低，并且還增加了網(wǎng)絡(luò)規(guī)模，即可以通過(guò)合理的響應(yīng)連接到網(wǎng)絡(luò)的端點(diǎn)數(shù)量時(shí)間。這些是 Cornelis Networks 最終公開投入的賭注，眾所周知，公司不會(huì)購(gòu)買點(diǎn)產(chǎn)品，而是購(gòu)買路線圖，因?yàn)槲覀兌忌钤谖磥?lái)。

通過(guò) Omni-Path 100 系列，Cornelis Networks 正在轉(zhuǎn)售由英特爾創(chuàng)建的硬件，該硬件于 2015 年底開始在基于其“Knights”系列多核處理器的早期采用者 HPC 系統(tǒng)中推出。（我們認(rèn)為 Cornelis 忘記將品牌的“Express”部分放入路線圖中。) 該產(chǎn)品系列包括 100 Gb/秒適配器、48 端口邊緣交換機(jī)、288 端口導(dǎo)向器交換機(jī)和 1,152 端口導(dǎo)向器交換機(jī)。Omni-Path 100 互連支持 3 米及更短的直連電纜 (DAC) 和 100 米或更短的有源光纜 (AOC)。交換機(jī)的基數(shù)在fat tree上以全二分帶寬支持多達(dá) 13,800 個(gè)節(jié)點(diǎn)，或以半二分帶寬支持 27,600 個(gè)節(jié)點(diǎn)，在網(wǎng)絡(luò)逐漸變細(xì)的情況下最多支持 36,800 個(gè)節(jié)點(diǎn)。

考慮到其聯(lián)合創(chuàng)始人多年來(lái)推出的產(chǎn)品的悠久歷史，憑借 Omni-Path CN5000 CN5000 系列（Cornelis Networks 稱之為第五代高性能互連），交換機(jī)和適配器中的 ASIC 正在發(fā)生變化高達(dá) 400 Gb/秒，這將是性能的巨大飛躍。將會(huì)有一個(gè) 48 端口邊緣交換機(jī)（看起來(lái)像一個(gè)普通的披薩盒機(jī)器，而不是英特爾在 Omni-Path 100 上做的那種時(shí)髦的形狀），并且將在導(dǎo)向器交換機(jī)上進(jìn)行差異化，并與單個(gè) 576 端口機(jī)器一起使用。至于電纜，將支持 DAC 和 AOC，以及將銅電纜拉伸到 5 米或更短長(zhǎng)度的有源銅電纜 (ACC)，這比 DAC 長(zhǎng) 2 米，從而提供更具創(chuàng)意的接線配置。

CN5000 系列將支持全二分帶寬樹和部分二分帶寬樹，例如 Omni-Path 100，還將支持 Dragonfly 和 Megafly（有時(shí)稱為 Dragonfly+）拓?fù)洌⑶覇蝹€(gè)集群中最多可擴(kuò)展至 330,000 個(gè)節(jié)點(diǎn)。（我們不知道這樣的網(wǎng)絡(luò)中有多少層和跳數(shù)，但我們的目標(biāo)是找出答案。）Cornelius Networks 正在添加基于遙測(cè)的動(dòng)態(tài)自適應(yīng)路由和擁塞控制，這聽起來(lái)可能基于一些想法是從 Cornelis Networks 通過(guò)英特爾獲得的 Cray“Aries”技術(shù)中挑選出來(lái)的。（同樣，我們會(huì)找到結(jié)果。）延遲（我們假設(shè)是從節(jié)點(diǎn)到節(jié)點(diǎn)）承諾低至 1 微秒以下，消息速率預(yù)計(jì)為每秒 12 億條。CN5000 導(dǎo)向器交換機(jī)將提供風(fēng)冷和液冷選項(xiàng)。

以下是 CN5000 邊緣交換機(jī)的一些規(guī)格和機(jī)械結(jié)構(gòu)：

這些是 CN5000 導(dǎo)向器交換機(jī)的規(guī)格：

最后，主機(jī)結(jié)構(gòu)適配器如下所示：

到 2026 年，Cornelis 路線圖將超越 Omni-Path CN6000，后者具有支持 800 Gb/秒的交換機(jī)和適配器 ASIC。交換機(jī)電纜選項(xiàng)的適配器在二等分帶寬、拓?fù)溥x項(xiàng)以及 330,000 個(gè)節(jié)點(diǎn)的規(guī)模方面保持不變。這里有趣的變化是使用 RISC-V 內(nèi)核的 DPU，插入 CXL 端口，并且可能會(huì)執(zhí)行一些集體操作卸載以及安全和存儲(chǔ)加速功能。某些結(jié)構(gòu)功能將被卸載，并且可能在交換機(jī)和適配器中都有特定于結(jié)構(gòu)的加速器。

隨著第七代產(chǎn)品將于 2028 年推出，Cornelis Networks 將把端口速度提高到 1.6 Tb/秒，并將 HyperX 拓?fù)涮砑拥骄W(wǎng)絡(luò)幾何結(jié)構(gòu)列表中，并對(duì) DPU 核心以及結(jié)構(gòu)和應(yīng)用程序卸載進(jìn)行增強(qiáng)。

我們已經(jīng)有一段時(shí)間沒有看到 Nvidia 或 Mellanox 的 InfiniBand 路線圖了，而且肯定不會(huì)走那么遠(yuǎn)。但節(jié)奏和減速帶可能會(huì)在某個(gè)時(shí)刻或多或少同步。

審核編輯：劉清