精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

計算高速鏈路互連內存和GPU以實現高性能

星星科技指導員 ? 來源:嵌入式計算設計 ? 作者:Saumitra Jagdale ? 2022-10-24 16:29 ? 次閱讀

隨著云計算技術的進步,數據中心的架構內存安排發生了重大變化。為了增強計算能力和廣泛的數據處理,需要集成擅長處理特定工作負載的加速器。雖然這些設備已經通過PCI Express連接,但計算快速鏈路可以進一步改善優化,因為它允許對各種系統組件進行異構處理。

PCI Express是用于將主機處理器連接到加速器設備的最常見技術。它是一種高性能、行業標準的串行 I/O 接口,專為在企業、桌面和嵌入式應用中使用而開發。

同時,PCIe在具有大型共享內存池和大量需要高帶寬的設備的系統中存在局限性。由于每個 PCIe 層次結構都使用單個 64 位地址空間,因此 PCIe 未提供支持一致性的技術,并且無法充分維護單獨的內存池。此外,PCIe 鏈路具有太多的延遲,無法有效地管理系統中多個設備之間的共享內存。

因此,計算密集型工作負載需要與更快的數據流連接,以有效地擴展數據中心中的異構計算。計算高速鏈路 (CXL) 通過利用 PCI 高速 5.0 的物理和電氣接口來挑戰一些限制。這項新技術提高了內存容量和帶寬,并降低了延遲。它是高速通信的接口,因為加速器越來越多地用于補充CPU以支持新興應用。

什么是斷續器?

計算高速鏈路 (CXL) 是一種開放的行業標準內存互連。它旨在為當今數據中心中使用的許多類型的內存提供高性能連接,例如CPU,TPU,GPU和其他處理器類型。

CXL 利用 PCIe 5.0 的物理層基礎架構在主機和所有設備之間創建公共內存空間。緩存一致性標準可確保主機處理器和 CXL 設備在訪問數據時看到相同的數據。CPU 主機主要負責一致性管理,允許 CPU 和設備共享資源以獲得更高的性能并降低軟件堆棧的復雜性,從而降低設備總成本。

除了原始性能外,CXL還有其他優勢。該技術是開源的,不像美光的3D Xpoint,這是迄今為止最接近高性能內存互連的方法。美光和英特爾現在正在對沖他們對CXL的賭注,而不是專有技術。NVIDIA 和 AMD硬件系統還使用 CXL 來互連內存和外部處理單元,以優化性能。NVIDIA的GPU與CXL設計相結合,進行了如此廣泛的計算,并在內存設計中進行了一些更改。

這種轉變的最重要結果將是CXL消除專有內存互連。它是必不可少的,因為有幾種類型的企業存儲,每個處理器都通過專有連接訪問它們。這可能會使企業存儲基礎架構變得復雜,并且無法預測其性能。

現在,由于CXL,每個處理器都將能夠訪問所有類型的內存。這將允許單獨的處理器共享相同的內存池。它不僅對于數據中心至關重要,而且對于開發通常使用CPU,GPU和TPU的AI神經網絡和深度機器學習系統等技術也至關重要。

CXL 事務層協議

憑借與 PCIe 5.0 相似的帶寬,CXL 使用三種動態多路復用的事務層協議:CXL.io、CXL.緩存和 CXL.內存,以在 PCIe 上獲得優勢。

CXL.io 協議幾乎與 PCIe 5.0 相同。它用于設備發現、配置、寄存器訪問、中斷、虛擬化和批量 DMA

CXL.cache 是一種可選協議,用于定義主機和設備之間的交互。這允許連接的 CXL 設備使用請求和響應方法以極低的延遲高效緩存主機內存。

CXL.memory 是一種可選協議,它使用加載和存儲命令為主機處理器提供對加速器連接的內存的直接訪問。加速器連接的內存被 CPU、GPU 或 TPU 視為額外的地址空間,從而提高效率并降低延遲。

CXL 對存儲的影響

CXL依賴于存儲,并將對其產生影響。它將允許存儲系統使用更大的內存池進行緩存。該技術有利于使用內存作為緩存的存儲應用程序或系統。這一點至關重要,因為雖然許多ISP定期限制帶寬,但臨時數據存儲正在成為數據中心性能的關鍵方面。

商用存儲系統中目前可用的最大 DRAM 緩存為 3 TB。盡管使用 MemVerge 或福爾穆盧斯黑色,但特定的軟件定義存儲可以使用英特爾傲騰 PMem 將該緩存擴展到 4.5 TB。但是,這對除最富有的組織之外的所有組織的緩存內存施加了硬性限制。幸運的是,CXL 通過允許存儲軟件跨多個存儲介質緩存數據來解決此問題。

審核編輯:郭婷

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19166

    瀏覽量

    229147
  • 云計算
    +關注

    關注

    39

    文章

    7736

    瀏覽量

    137205
  • 數據中心
    +關注

    關注

    16

    文章

    4691

    瀏覽量

    71956
收藏 人收藏

    評論

    相關推薦

    《算力芯片 高性能 CPUGPUNPU 微架構分析》第3篇閱讀心得:GPU革命:從圖形引擎到AI加速器的蛻變

    對卷積核優化的思考。 GPU的存儲體系采用了獨特的倒金字塔結構,在我看來這是其計算性能的關鍵。大容量寄存器設計破解了傳統馮諾依曼架構的內存瓶頸,合并訪存機制巧妙解決了
    發表于 11-24 17:12

    AI高性能計算平臺是什么

    AI高性能計算平臺不僅是AI技術發展的基石,更是推動AI應用落地、加速產業升級的重要工具。以下,是對AI高性能計算平臺的介紹,由AI部落小編為您整理分享。
    的頭像 發表于 11-11 09:56 ?126次閱讀

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--了解算力芯片GPU

    每個CUDA單元在 OpenCL 編程框架中都有對應的單元。 倒金字塔結構GPU存儲體系 共享內存是開發者可配置的編程資源,使用門檻較高,編程上需要更多的人工顯式處理。 在并行計算架構中,線程
    發表于 11-03 12:55

    如何提高GPU性能

    學習和機器學習等領域發揮著重要作用。 1. 硬件升級 a. 更換高性能GPU 最直接的提高GPU性能的方法是升級到更高性能的顯卡。隨著技術的
    的頭像 發表于 10-27 11:21 ?216次閱讀

    GPU高性能服務器配置

    GPU高性能服務器作為提升計算速度和效率的關鍵設備,在各大應用場景中發揮著越來越重要的作用。在此,petacloud.ai小編為你介紹GPU高性能
    的頭像 發表于 10-21 10:42 ?156次閱讀

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--了解算力芯片CPU

    本篇結合第1-5章,梳理了解學習CPU流水線、緩存硬件結構、計算單元、邏輯拓撲結構等知識點。 █本書開篇將了TOP500超級計算機。TOP500使用HPL基準測試來評估超級計算機的性能
    發表于 10-20 12:03

    【「算力芯片 | 高性能 CPU/GPU/NPU 微架構分析」閱讀體驗】--全書概覽

    技術 11.1 從DDR到HBM 11.2 PCExpress總線概況 11.3擴展技術 11.4 NVLink互連技術與GPU超級計算
    發表于 10-15 22:08

    米爾STM32MP2核心板首發新品上市!高性能+多接口+邊緣算力

    /1USB2.0 HOST/3SDIO3.0/9UART接口/8I2C/4個I3/8SPI/1
    發表于 09-20 18:24

    名單公布!【書籍評測活動NO.43】 算力芯片 | 高性能 CPU/GPU/NPU 微架構分析

    力,在全球范圍內,對于推動科技進步、經濟發展及社會整體的運作具有至關重要的作用。隨著信息技術的高速發展,高性能計算(HPC)和人工智能(AI)等技術在多個領域的應用變得日益廣泛,芯片算力成為支持這些
    發表于 09-02 10:09

    高性能計算集群的能耗優化

    高性能計算(HighPerformanceComputing,HPC)是指利用大規模并行計算機集群來解決復雜的科學和工程問題的技術。高性能計算
    的頭像 發表于 05-25 08:27 ?384次閱讀
    <b class='flag-5'>高性能</b><b class='flag-5'>計算</b>集群的能耗優化

    存內計算WTM2101編譯工具 資料

    出來再進行計算,讀取時間與參數規模成正比,計算芯片的功耗和性能受限,GPU算力利用率甚至不到8%。 存內計算芯片
    發表于 05-16 16:33

    業界首創512GB CXL AIC內存擴展卡,江波龍革新AI與高性能計算領域內存技術

    人工智能大模型計算高性能計算(HPC)以及數據中心等行業的迅猛發展,對計算機系統內存性能的需求
    發表于 04-17 14:40 ?398次閱讀
    業界首創512GB CXL AIC<b class='flag-5'>內存</b>擴展卡,江波龍革新AI與<b class='flag-5'>高性能</b><b class='flag-5'>計算</b>領域<b class='flag-5'>內存</b>技術

    什么是HPC高性能計算

    高性能計算(HighPerformanceComputing,簡稱HPC),是指利用集群、網格、超算等計算機技術,通過合理地組織計算機資源以及運用適合的算法和程序,提高
    的頭像 發表于 02-19 13:27 ?792次閱讀
    什么是HPC<b class='flag-5'>高性能</b><b class='flag-5'>計算</b>

    從56G到112G,高速互連帶來的新挑戰

    計算機系統中,包含了CPU、GPU內存、存儲設備等組件,這些組件都無法各自獨立運行,一般需要通過互連協議相互連接,進行通信和數據傳輸,才
    發表于 01-08 15:39 ?1528次閱讀
    從56G到112G,<b class='flag-5'>高速</b><b class='flag-5'>互連</b>帶來的新挑戰

    英偉達用AI設計GPU算術電路有何優勢

    大量的算術電路陣列為英偉達GPU提供了動力,實現前所未有的AI、高性能計算計算機圖形加速。因
    發表于 12-05 11:05 ?404次閱讀