Hotchip 2023的相關PPT，我們會后續整理出來，給大家參考！上文講到內存的變化有助于減少數據移動量，但這只是挑戰的一部分，本文將針對CPU改進。

●? CPU計算-提高速度

下一個挑戰是提高主要CPU處理單元的速度。

一種方法是分支預測，類似于預測下一個操作的方式，就像互聯網搜索引擎一樣。然而，與任何并行架構一樣，關鍵是確保各種處理單元充分運行，以最大限度地提高性能和效率。

Arm通過其Neoverse V2設計對這一概念進行了改進，將分支預測與獲取分離。這導致了通過減少停頓來提高效率，并更快地從錯誤預測中恢復。Arm的首席CPU架構師Magnus Bruce表示：“動態饋送機制允許內核調節攻擊性，并主動防止系統擁塞。這些基本概念使我們能夠推動機器的寬度和深度，保持較短的管道以快速恢復錯誤預測。”

這些改進是通過在多個架構點進行微調而實現的，而不是進行大規模改變。例如，分離分支預測和獲取可以將分支目標緩沖區拆分為兩個級別，使其能夠處理多50%的條目。增加了預測器中存儲的歷史記錄三倍，并將獲取隊列中的條目數量增加一倍，從而顯著提高了實際性能。綜合考慮各種改進，Neoverse V2的性能是V1的兩倍，具體取決于其在系統中的角色。

AMD的下一代Zen 4核心通過微架構的改進，每周期的指令數增加了約14%。由于工藝擴展，5nm下的頻率提高了16%。由于微架構和技術的改進，功耗降低了約60%。物理設計也得到了改進。

與Arm一樣，AMD也致力于改進分支預測和獲取。AMD的研究員兼Zen 4首席架構師Kai Troester表示，通過更多的分支、每周期更多的分支預測以及允許更多條目和每個條目更多操作的更大操作緩存，分支預測的準確性得到了提高。此外，Zen 4增加了3D V高速緩存，將每個內核的L3高速緩存提升至高達96 MB，并在256位數據路徑上使用兩個連續周期提供對512位操作的支持。這一設計擴大了數據管道的規模，并盡可能縮短數據傳輸距離。

● 平臺系統架構

平臺架構方面的主要趨勢是領域特定性的不斷增加，這對通用處理器的傳統開發模式造成了破壞。現在的挑戰是如何提供本質上大規模的定制，有兩種主要方法：

1）通過添加硬件或可編程邏輯來實現可編程性

2）開發可互換的平臺部件。

英特爾引入了一個將小芯片集成到先進封裝中的框架，利用其嵌入式多芯片互連橋來連接高速I/O、處理器內核和內存。英特爾的目標是提供足夠的定制和性能，以滿足客戶需求，但交付這些系統的速度比完全定制的架構要快得多，并且結果是可預測的。

英特爾首席至強架構師Chris Gianos表示。“這將是一個多芯片架構，可以使用這些小芯片構建結構，具有很大的靈活性，只是互操作，為我們提供了專門優化產品核心的維度之一。將創建E核（超高效）的小芯片和P核（高性能）的小芯片。”

英特爾還創建了一個模塊化網狀結構來將各種組件連接在一起，以及一個支持DDR或MCR內存以及通過CXL連接的內存的通用控制器。

●?神經處理器和光學互連

這是研究的重要方向，新方法和新技術的清單也是前所未有的。業界正在廣泛尋找增加性能、降低功耗的新方法，同時仍然關注面積和成本。對于AI/ML應用程序來說，精度也至關重要。光子學在機架內的服務器之間發揮著作用，但是否將其應用到芯片層面仍不確定。這領域的工作仍在繼續，光子學受到了許多公司的關注。

整個行業正在積極尋找提高性能并降低功耗的全新方法，同時關注成本和芯片尺寸。PPAC（性能、功耗、面積、成本）仍然是關注的核心，但不同應用和用例可能會對這些方面的權衡提出不同的要求。IBM的研究員Dharmendra Modha指出：“人工智能的運營支出和資本支出正變得難以維持。”他進一步表示：“架構勝過摩爾定律。”這強調了架構創新在應對當前挑戰方面的重要性。

對于AI/ML應用程序來說，精度至關重要。IBM的設計包括支持混合精度的向量矩陣乘法器、具有FP16精度的向量計算單元和激活函數單元。處理是在距離內存幾微米的范圍內完成的，避免了依賴于數據的條件分支、緩存未命中、停頓和推測執行等問題。

復雜芯片所面臨的一個關鍵挑戰不僅在于內存和處理器之間的數據傳輸，還包括芯片周圍的數據傳輸。片上網絡和其他互連結構簡化了這一過程。盡管硅光子學在高速網絡芯片中已有所應用，光子學在芯片層面的使用仍不確定。然而，光子學在許多公司中引起了廣泛關注，特別是在服務器之間的機架內。

Lightelligence工程副總裁Maurice Steinman表示，已經開發了基于光子學的專門加速器，速度比GPU快100倍，同時功耗顯著降低。該公司還研發了片上光學網絡，使用硅介質層作為連接小芯片的媒介，而不是電子連接。

●?可持續性和可靠性

隨著所有這些變化，出現了兩個未解決的問題。

首先是可持續性問題。隨著越來越多的數據由芯片處理，能源消耗成為一個日益突出的挑戰，而制造這些設備也需要大量能源。盡管在數據中心方面已經取得了一些進展，但能源問題仍然存在。芯片制造商正積極尋找可持續發展的解決方案。

第二個未解決的問題是可靠性。現代芯片設計更加復雜，因此確保結果的準確性和一致性變得更加困難。這一挑戰涉及到數據的分區、處理、重新聚合和分析，尤其是當設備老化程度不同并以意想不到的方式交互時。可靠性問題需要深入研究和解決。

有關人工智能訓練和CO2排放的數據可能具有誤導性。正確的數據分析對于理解問題的嚴重性至關重要。與此同時，模型從單一模態轉向多種模態，這包括圖像、文本、聲音和視頻，因此動力、可持續性和可靠性仍然是至關重要的關注點。

編輯：黃飛

?