數據中心和其他高性能計算環境越來越多地使用 GPU，因為它們能夠快速處理深度學習和機器學習應用程序中生成的大量數據。然而，就像許多提高應用程序性能的新數據中心創新一樣，新的系統瓶頸也暴露出來了。在這些應用程序中提高系統性能的新興架構涉及通過 PCIe 結構在多個主機之間共享系統資源。

PCIe 標準，尤其是其傳統的基于樹的層次結構，限制了資源共享的實現方式（以及效果如何）。盡管如此，可以實施低延遲、高速結構方法，允許在多個主機之間共享 GPU 和 NVMe SSD 池，同時仍支持標準系統驅動程序。

PCIe 結構方法采用動態分區和多主機、單根 I/O 虛擬化 (SR-IOV) 共享。PCIe 結構直接跨結構路由對等傳輸。這允許對等傳輸的最佳路由，減少根端口擁塞并允許更有效的 CPU 資源負載平衡。

按照慣例，GPU 傳輸必須訪問 CPU 的系統內存，這會導致端點之間的內存共享爭用。當 GPU 使用其共享的內存映射資源而不是 CPU 內存時，它可以在本地攝取數據，從而無需首先通過 CPU 傳遞數據。這消除了躍點和鏈接以及由此產生的延遲，使 GPU 能夠更有效地處理數據。

PCIe 的固有限制
PCIe 主要層次結構是一種樹形結構，其中每個域有一個根復合體，從該點擴展為通過交換機和橋接端點的“葉子”。鏈路的嚴格層次結構和方向性對多主機、多交換機系統提出了昂貴的設計要求。

圖 1：多主機拓撲

考慮圖 1所示的系統。為了符合 PCIe 的層次結構，主機 1 必須在交換機 1 中有一個專用的下行端口，該端口連接到交換機 2 中的一個專用上行端口。它還需要交換機 2 中的一個專用下行端口連接到交換機 3 中的一個專用上行端口，等等。主機 2 和 3 也存在類似的要求，如圖 2 所示。

圖 2：每個主機的層次結構要求

即使是最基本的基于 PCIe 樹結構的系統也需要每個交換機之間的三個鏈路專用于每個主機的 PCIe 拓撲。而且由于無法在主機之間共享這些鏈接，系統很快就會變得非常低效。

此外，典型的符合 PCIe 的層次結構只有一個根端口，雖然多根 I/O 虛擬化和共享規范中支持多個根，但它使設計更加復雜，目前主流 CPU 不支持。結果是未使用的 PCIe 設備（即端點）被困在分配它們的主機中。在使用許多 GPU、存儲設備及其控制器和交換機的大型系統中，不難想象這將變得多么低效。

例如，如果第一臺主機（主機 1）消耗了所有計算資源，而主機 2 和 3 的資源未充分利用，那么主機 1 顯然需要訪問它們。但它不能，因為它們在其層次結構域之外，因此陷入困境。非透明橋接 (NTB) 是該問題的潛在解決方案，但也使系統變得復雜，因為它需要用于每種類型的共享 PCIe 設備的非標準驅動程序和軟件。更好的方法是使用允許標準 PCIe 拓撲的 PCIe 結構來容納可以訪問每個端點的多個主機。

實現方法
該系統是使用 PCIe 架構交換機（在本例中是 Microchip 的 Switchtec PAX 系列的成員）在兩個離散但透明可互操作的域中實現的：包含所有端點和架構鏈路的架構域以及專用于每個主機的主機域（圖 3）。主機通過在嵌入式 CPU 上運行的 PAX 交換機固件保存在單獨的虛擬域中，因此交換機將始終顯示為具有直接連接端點的標準單層 PCIe 設備，無論這些端點出現在結構中的什么位置。

圖 3：每個結構的獨立域

來自主機域的事務被轉換為結構域中的 ID 和地址，反之亦然，結構域中的流量的非分層路由。這允許系統中的所有主機共享連接交換機和端點的結構鏈路。交換機固件攔截來自主機的所有配置平面流量，包括 PCIe 枚舉過程，并虛擬化一個簡單的、符合 PCIe 規范的交換機，并具有可配置數量的下游端口。

雖然所有控制平面流量都路由到交換機固件進行處理，但數據平面流量直接路由到端點。其他主機域中未使用的 GPU 不再擱淺，因為它們可以根據每個主機的需要動態分配。結構內支持對等流量，使其能夠適應機器學習應用程序。由于功能以符合 PCIe 規范的方式呈現給每個主機，因此可以使用標準驅動程序。

實際
應用要了解這種方法的工作原理，請考慮圖 4中的系統，該系統由兩臺主機（主機 1 用于 Windows 主機 2 用于 Linux）、四個 PAX PCIe 結構交換機、四個 Nvidia M40 GPGPU 和一個三星 NVMe SSD支持 SR-IOV。在本練習中，主機運行代表實際機器學習工作負載的流量，包括 Nvidia 的 CUDA 點對點流量基準測試實用程序和訓練 CIFAR-10 圖像分類 TensorFlow 模型。嵌入式交換機固件處理交換機的低級配置和管理，系統由 Microchip 的 ChipLink 調試和診斷實用程序管理。

圖 4：兩主機 PCIe 結構引擎

四個 GPU 最初分配給主機 1，PAX 結構管理器顯示在結構中發現的所有設備，其中 GPU 綁定到 Windows 主機。但是，主機掩蓋了結構的復雜性，所有 GPU 看起來好像直接連接到虛擬交換機。然后結構管理器綁定所有設備，Windows 設備管理器顯示 GPU。主機將交換機視為具有可配置數量的下游端口的簡單物理 PCIe 交換機。

CUDA 發現四個 GPU 后，點對點帶寬測試顯示單向傳輸的速度為 12.8 GB/s，雙向傳輸的速度為 24.9 GB/s。這些傳輸直接通過 PCIe 結構而不通過主機。運行 TensorFlow 模型訓練 CIFAR-10 圖像分類算法，工作負載分布在所有四個 GPU 上，可以將兩個 GPU 釋放回結構池，將它們與主機解除綁定。這可以釋放剩余的兩個 GPU 來執行其他工作負載。Linux 主機和它的 Windows 主機一樣，可以看到一個簡單的 PCIe 開關，而不需要自定義驅動程序，并且 CUDA 也可以發現 GPU 并在 Linux 主機上運行 P2P 傳輸。性能類似于使用 Windows 主機實現的性能，如表 1所示。

表 1：GPU 點對點傳輸帶寬

下一步是將 SR-IOV 虛擬功能附加到 Windows 主機，PAX 將其作為標準物理 NVM 設備呈現，允許主機使用標準 NVMe 驅動程序。在此之后，一個虛擬功能被組合到 Linux 主機，一個新的 NVMe 設備出現在塊設備列表中。這個練習的結果是兩臺主機現在都可以獨立使用它們的虛擬功能。

需要注意的是，虛擬 PCIe 開關和所有動態分配操作都以完全符合 PCIe 規范的方式呈現給主機，從而使主機能夠使用標準驅動程序。嵌入式交換機固件提供了一個簡單的管理接口，因此 PCIe 結構可以通過廉價的外部處理器進行配置和管理。設備點對點事務默認啟用，不需要外部結構管理器的額外配置或管理。

總結
盡管 PCIe 標準本身存在一些障礙，但 PCIe 交換結構是充分利用 CPU 的海量性能的絕佳手段。但是，可以通過使用動態分區和多主機單根 I/O 虛擬化共享技術來解決這些限制，從而可以將 GPU 和 NVMe 資源實時動態分配給多主機系統中的任何主機以滿足機器學習工作負載的不同需求。