（本文來自智東西微信號，本文作為轉載分享）

所有的云計算商都在開發內部的芯片，AI芯片不僅是未來十年半導體行業中最有希望的增長機會之一，而且還是有可能破壞傳統計算市場的力量。現今 99％的AI軟件尚未編寫，只有不到1％的云服務器用于AI加速（今年總計500+萬臺服務器），企業服務器活動幾乎為零。訓練和推理工作從低基數中倍增，說明市場似乎是一致的，因為今天的加速硬件（GPU、CPU、FPGA）遠遠不能滿足市場的要求。

吞吐量上還需要巨大的飛躍（現今100倍）才能使AI無處不在。好消息是真正的架構創新即將出現，但需要時間才能生效：2019年以后，我們將看到新的工藝技術（7nm）、新的計算架構（芯片上的神經網絡）、新的芯片互連（serdes 56/112GBs）、新的存儲器方法（HBM3、片上SRAM等）和新的封裝技術相結合，可帶來對數級性能的提升。因為不能太依賴工藝的縮減而進步，AI行業正在進行全面的創新。但長遠來看，臺積電等主要DRAM制造商還是AI芯片產業的主要受益者。

本期的智能內參，我們推薦來自Arete的研究報告，詳解AI硬件峰會對未來的預測，2大科技巨頭及創業公司的AI芯片布局。

AI硬件峰會的5大結論

上個月加州山景城舉辦的AI硬件峰會是目前唯一專門致力于開發用于神經網絡和計算機視覺硬件加速器生態系統的活動。 會上，來自AI芯片初創企業、半導體公司、系統供應商/ OEM、數據中心、企業、金融服務、投資者和基金經理等 250 多位先進技術領導者們，為新興的AI芯片市場構建了一幅全面的架構路線圖。

會上展示了 許多AI芯片中另類創業者的狀態。其中有一件事是非常明確的：從未見過如此多的公司（無論大小）進攻這個新興芯片市場。就像今天的AI一樣，毫無疑問在接下來的幾年中，將會出現一個成果井噴期。繼谷歌的TPU之后，每個創業者都有正在研發的內部AI芯片程序。問題是這一切需要多長時間才能影響到市場情緒？畢竟，谷歌的TPU芯片已經到了第三代（在16年中期推出其第一個TPU之后），但仍然承載不了Tensorflow或其他框架的所有工作量。所以我們認為，2020年是許多AI芯片問世和量產的開始。

AI硬件峰會的5個重要結論：

1、臺積電中幾乎所有的AI加速芯片都使用了7nm工藝。此外，我們還發現大量新的高速接口芯片（Serdes 56/112GBs）將在19年擴展。

2、英偉達仍然是機器學習之王，其新的T4卡將會被廣泛接受。它將在19年繼續占據主導地位。但長遠來看，我們仍然擔心AI會減少對CUDA和GPU的依賴。

3、英特爾有新的7nm AI芯片（由臺積電制造），我們認為這個芯片支持112GB的Serdes和高速DRAM。它還應該在明年的Cascade Lake服務器中支持新的DL Boost INT8，并且速度增強11倍。

4、所有的云計算商都在開發內部的芯片，但問題是時機的選擇，因為計劃的增加是私密的。這種垂直推進是芯片制造商面臨的主要威脅。

5、在最近的5年，我們見證了新的納米線取代了數字計算的模擬計算機的進步；硅光子學取代了Serdes（超過112 GB）和更高速內存驅動AI的性能提升。

新的AI芯片有兩種通用思路：

1、首先是擁有更快的I/O和外部存儲器接口的能夠擴展性能的系統，如英偉達，英特爾等。

2、其次是將所有數據存儲在芯片上（芯片上的神經網絡），使用大量的小內核和片上存儲器來減少對外部DRAM的需求。

后一種方法將在未來六個月內會看到第一批商品化的芯片，但我們認為這需要7納米工藝真正推動家用優勢的時候（即2020年）。圍繞AI的軟件也在快速發展，云服務商也正在推出開源適配軟件，以支持在其框架中運行的各種芯片（例如，Tensorflow XLA、Facebook Glow）。隨著新神經網絡的成熟，每個人都意識到了可編程性和靈活性的重要性。隱含的目標是在7nm的FP16上達到每瓦特至少10 TOPS（比現在好10倍），并且通過更好地支持稀疏性，更低的精度、更小的批量、更快的芯片互連（112GB Serdes）、更快的存儲器接口（遠遠超出HBM2）以及新的多芯片高級封裝真正提高效率和性能。

英特爾：AI芯片扮裝者

盡管人們普遍轉向依賴通用CPU，但對于英特爾計劃在未來幾年內為AI引入的一些新優化措施，大家并未給予足夠的信任。英特爾去年的AI收入大約為10億美元（2017年），至強CPU將繼續在AI推理和訓練中發揮重要作用。例如，在Cascade Lake中，英特爾在架構中提供了大量新指令，以提高推理性能（聲稱在支持INT8精度的情況下性能提升11倍）。我們預計這些擴展將與AMD EPYC2規格區別開來。

英特爾的下一代Nervana ASIC芯片將在臺積電（7nm工藝）制造，并將擁有一些關鍵的專有接口，可顯著提升性能。雖然GPU現在以低速（PCIE-3）連接到CPU，預計新服務器將支持PCIE-4（16GB），但這仍然是數據輸入GPU的關鍵瓶頸。相比之下，英特爾或將在其Xeon CPU和7nm Nervana芯片之間構建專有接口，速度高達112GB。英特爾可能計劃推出一種新的高帶寬存儲器接口（對云計算商而言是一個關鍵的關注點），并積極參與新的多芯片封裝。雖然向AI加速的轉變將導致更多的CPU被卸載，但英特爾希望通過在Xeon周圍構建外圍解決方案來獲取價值。時間將證明這是否有效，但規格的突破顯然揭示了英特爾的目標是在2020年取代英偉達的地位。

英偉達：暫時的旗艦

英偉達的GPU目前仍然是AI計算的王者，他們擁有真正的在位優勢（支持所有框架、所有云服務商、所有OEM），并且其新產品具有顯著的性能提升，我們認為T4將得到廣泛采用并且其新的DGX2服務器今年已售罄。雖然目前幾乎沒有令人信服的替代方案，而且我們也認為NVIDIA將繼續占據主導地位（至少到2019年），但有兩個主要問題影響英偉達可以在多大程度上長期維持其領導地位：

1、首先，我們認為很明顯英偉達軟件壕溝（CUDA）將變得不那么重要，因為像谷歌、ONNX都努力推進了他們的堆棧并建立了開發者生態系統。云服務商現在正在積極提供替代芯片解決方案的開源插件，以支持Tensorflow、Pytorch、CNTK、Caffe2等框架，降低了新AI處理器的入門軟件門檻。

2、其次，是英偉達訓練和推理芯片的經濟性，雖然它們可以為許多AI工作負載節省CPU，但是銷售的GPU卡的超高利潤率與昂貴的內存捆綁在一起（V100每卡10萬美元，P4可能每個2萬美元）只會讓云端用戶擁抱其他架構。

也就是說，英偉達擁有大量資源來投資競爭對手（尤其是初創公司），它致力于每年為AI推出一種新的架構，它可能會在2019年下半年首先推出7nm解決方案。 V100和T4都被視為英偉達首款用于AI的轉換芯片（遠離通用型GPU），因為它們是第一款支持張量核心和更低推理精度的芯片（INT8）。

預計19年新品的功能將再次大幅提升英偉達7nm AI加速芯片，將會有很多明顯的效率改進可以大幅提高吞吐量和延遲。我們預計它的下一代將更多地是以AI為中心的ASIC而不是GPU。云客戶告訴我們，他們從V100 GPU獲得的利用率很低（低至15％），因為他們每個GPU只訓練一個神經網絡。他們希望英偉達能夠虛擬化他們的GPU ，盡管這可能會給英偉達的GPU增長帶來壓力，甚至減少對AI計算芯片的需求。此外，今天英偉達擁有快速芯片到芯片接口（NVlink2），運行速度為25Gbs（遠遠超過標準PCIE-3連接，僅8GB或PCIE-4，16GB），我們預計到19年年底英偉達將推出對56Gbs甚至112GB serdes的支持，因為有些替代方案可以提升這些規格。我們認為英偉達的下一代架構將于2019年下半年發布（超越Volta / Turing），并將在很大程度上決定其在多大程度上可以繼續占領市場。

另類AI芯片創業公司的時代到來

在谷歌TPU的帶頭下，每個云服務商都有內部的AI芯片程序，我們認為這可能會在未來18個月內得到驗證。有些已經公開表達他們的意圖，微軟甚至在峰會上有一個招聘廣告，說明它渴望建立自己的團隊。但這些項目所處的狀態還不清楚：云服務商不會分享任何他們的硬件計劃細節 ，所以我們不知道他們處于什么發展階段。我們認為第一次轉換芯片將重點關注推理，就像谷歌兩年前對TPU所做的那樣。

來自谷歌大腦的演示展示了一種諷刺，即隨著芯片行業達到摩爾定律的極限，AI計算的增長竟還能呈指數級增長，因此架構（和軟件協同設計）將成為關鍵的推動者。谷歌不僅將TPU用于越來越多的工作負載，而且繼續使用GPU，并將測試大量新系統上市。 50多家創業公司的工作已經縮減，以便將他們的平臺商業化，我們預計未來12個月內將有6家公司推出首款加速芯片，2020年開始推出第二款（7nm工藝）。一些AI初創公司在19年可能會達到1億美元的銷售額，但我們還看不到是否有人能在2020年之前突破這一點。有許多令人印象深刻的初創公司，但其中許多還沒有流片，因此很難對性能聲明進行驗證。

云服務商希望了解新的AI芯片的系統性能，因此他們建立了一個名為MLPerf的基準測試標準。我們認為這將是分析特定模型的訓練時間的關鍵標準 ，并且有助于與當前市場領導者英偉達（尚未加入MLPerf）的訓練平臺進行比較。很明顯，許多初創公司從未提供產品給主要的云數據中心，或者已經建立了領先的芯片。此外，只有少數參與者具有詳細的云計算關系或在如何圍繞關鍵型任務云計算芯片建立工程團隊方面擁有豐富經驗。

云加速：巨大的市場機會

今天看一下現在典型的云服務器配置（2插槽，10核Xeon E5是最受歡迎的銷售平臺之一），它包含大約660平方毫米的硅芯片面積來處理主CPU計算（即兩個330平方毫米的CPU芯片，主要由英特爾提供）。但是用于AI的加速服務器（例如NVIDIA DGX-1）通常具有多達10倍的硅面積來處理加速度計算，如下圖所示。加速芯片面積與CPU芯片面積的比率僅會增加我們看到每個CPU從四個加速卡上升到每個CPU的六個和八個卡隨著時間的推移。我們認為谷歌計劃明年增加三倍的TPU芯片。

英偉達在訓練方面可能會繼續大幅增長，同時還有大量的AI創業公司。由于AI服務器目前在市場上的滲透率很低（今年購買的云服務器不到1％支持加速），臺積電的長期前景非常好。如果我們假設這種滲透率上升到100萬臺加速AI服務器（今年小于5萬），并且芯片面積保持不變（即每個AI服務器6,560平方毫米），這將轉化為大約每年20萬片晶圓，或30億美元的代工收入（假設每片晶15,000美元，收益率55％）。這就是為什么臺積電會作為AI芯片長期的主要受益者之一。

長遠的新技術

峰會期間還有許多其他新興技術，未來在3到5年的視野中看起來很有趣。AI的邊緣計算顯然正在智能手機中進行，我們堅信每部智能手機都將在未來2-3年內擁有專用的計算機視覺AI處理器（在相機周圍）。谷歌的Edge TPU和英偉達的DLA是早期可授權的例子，我們看到ARM現在提供專用的AI許可證解決方案，而Qualcomm、Hisilicon、Cambricon和MediaTek則提供一系列智能手機和物聯網解決方案。一系列具有增強AI規格的嵌入式SOC即將推出 ，適用于相機、機器人、汽車等。英偉達的Xavier就是一個例子。我們將在即將發布的報告中研究自動駕駛汽車的汽車路線圖，其中AI加速將發揮核心作用。

從長遠來看，我們可以看到正在開發的一些擴展計算性能新技術，以應對摩爾定律的挑戰。其中一個更令人印象深刻的演講是來自Rain Neuromorphics和Mythic，他們看到模擬計算在5年的時間內商業化可能，使用松散的幾何形狀，圍繞芯片內部的納米線（如人腦中的突觸）解決功率限制。此外，Ayar Labs闡述了硅光子微型化方面的突破引起的更快的芯片互連（超過112GB Serdes）的解決方案。隨著Exascale計算機預計將在3-4年內出現在我們面前，我們認為AI正在全面推動新思路研發，將實現性能的指數增長。

我們認為，隨著摩爾定律的終結，AI的發展不能指望摩爾定律帶來的性能提升，尤其是AI芯片的發展。英偉達雖然目前處于行業領先地位，但很有可能被英特爾或新的創業公司超越。不遠的未來AI芯片將是一個井噴的行業，而這個行業最大的受益者將是臺積電。希望內地的相關企業也能在這一波浪潮中抓住機遇，改變我國缺芯的局面。