從 Hot Chips 32 看最新 AI 產(chǎn)品趨勢(shì)

Hot Chips，全球高性能芯片領(lǐng)域最負(fù)盛名的業(yè)界盛會(huì)！雖受疫情影響，本屆 Hot Chips 會(huì)議報(bào)告質(zhì)量依然非常之高，涵蓋范圍也非常之廣。在 Tutorial 部分，有來自于 Google TPU 團(tuán)隊(duì)、Cerebras、百度的機(jī)器學(xué)習(xí)訓(xùn)練專題，也有來自于 Google、IBM 等的量子計(jì)算專題。會(huì)議正式內(nèi)容分為 8 個(gè) Section，包括服務(wù)器處理器、移動(dòng)處理器、邊緣計(jì)算和傳感、GPU 和游戲架構(gòu)、FPGA 和可重構(gòu)架構(gòu)、網(wǎng)絡(luò)和分布式系統(tǒng)、機(jī)器學(xué)習(xí)訓(xùn)練，以及機(jī)器學(xué)習(xí)推理。受限于文章篇幅，本文將主要討論和機(jī)器學(xué)習(xí)相關(guān)部分的產(chǎn)品與趨勢(shì)。

趨勢(shì)一

互聯(lián)網(wǎng)公司自行開發(fā)的芯片明顯增多。百度有昆侖，阿里有含光。未來自己的客戶到底在哪里，公司出路在哪里？留給創(chuàng)業(yè)公司的空間還有多少？

百度是 Hot Chips 的常客：在主任架構(gòu)師歐陽劍的帶領(lǐng)下，其基于 FPGA 開發(fā)的 Software-Defined Accelerator（SDA，軟件定義加速器）、面向于多種實(shí)際應(yīng)用的 XPU 都已經(jīng)在 Hot Chips 進(jìn)行過報(bào)告。本次百度展示了去年在三星使用 14nm 工藝流片的昆侖芯片。

阿里巴巴在最近幾年也在基礎(chǔ)架構(gòu)、芯片開發(fā)上投入巨大。去年阿里巴巴達(dá)摩院團(tuán)隊(duì)的張健松博士在 Hot Chips 發(fā)布了基于 FPGA 的新一代語音合成芯片 Ouroboros，今年阿里更是有兩個(gè)報(bào)告入選，其中就包括由焦陽（驕旸）領(lǐng)導(dǎo)開發(fā)的含光 800 NPU。

同是互聯(lián)網(wǎng)公司開發(fā)的 AI 芯片，百度昆侖和阿里含光 800 差異非常大，但各有優(yōu)勢(shì)。百度昆侖重點(diǎn)強(qiáng)調(diào)通用性，其峰值性能 256 INT8 TOPS/150W 的指標(biāo)雖然不那么突出，但是能夠支持搜索引擎、計(jì)算機(jī)視覺、NLP、語音識(shí)別等多種模型。含光 800 性能指標(biāo)非常突出，使用臺(tái)積電 12nm 工藝，實(shí)現(xiàn)了 825 INT8 TOPS/280W 的能效比，但是因?yàn)闆]有外接存儲(chǔ)，其所能使用的模型有限，目前披露的數(shù)據(jù)基本都是針對(duì) ResNet-50 的。

無論兩顆芯片的差異如何，值得注意的是，阿里與百度，包括很多互聯(lián)網(wǎng)公司都有在布局云端 AI 芯片：

騰訊一方面戰(zhàn)略投資了由曾在 AMD 任職多年、也曾在銳迪科（RDA）擔(dān)任 CEO 的趙立東師兄創(chuàng)立的燧原科技；而另一邊，騰訊也在悄悄招兵買馬，布局自己的 AI 芯片；

字節(jié)跳動(dòng)極其低調(diào)地戰(zhàn)略投資了一家 AI 芯片公司，該公司也于今年初獲得了紅杉中國(guó)的 A 輪融資。至此老互聯(lián)網(wǎng)三巨頭 BAT 和新興互聯(lián)網(wǎng)公司中最大的字節(jié)跳動(dòng)，都已經(jīng)有了自己的 AI 芯片嫡系部隊(duì)。而這其中任何一家自身對(duì) AI 芯片的需求，成本和收益之比都不足以支撐一顆 7nm 芯片的開發(fā)。

在云端 AI 芯片市場(chǎng)，除了英偉達(dá)這樣的壟斷者，也有英特爾、賽靈思這樣的資深巨頭玩家加入。國(guó)內(nèi)除了上述提到的互聯(lián)網(wǎng)公司自研或關(guān)系緊密的企業(yè)之外，還有寒武紀(jì)、壁仞、登臨等企業(yè)參與到競(jìng)爭(zhēng)之中。盡管快手、拼多多、美團(tuán)、滴滴這樣在近些年快速上升的互聯(lián)網(wǎng)企業(yè)還沒有看到公開的 AI 芯片布局，但是也不排除他們?cè)谖磥硗ㄟ^戰(zhàn)略投資等方式進(jìn)行布局。中國(guó)云端 AI 芯片的市場(chǎng)正在被快速瓜分，在未來，即便存在有第三方獨(dú)立 AI 芯片企業(yè)的機(jī)會(huì)，整個(gè)市場(chǎng)也可能只能支撐一家這樣的公司——所有相關(guān)的企業(yè)都必須思考，未來自己的客戶到底在哪里，公司出路在哪里？

趨勢(shì)二

下一代計(jì)算技術(shù)得到更多關(guān)注。單純架構(gòu)上的變化，很難實(shí)現(xiàn)簡(jiǎn)單、便捷、低成本。模擬計(jì)算，存內(nèi)計(jì)算，量子計(jì)算，光子計(jì)算， 誰將成為“破壞性創(chuàng)新”的源泉？

在2018年之后，基于傳統(tǒng)數(shù)字集成電路的 AI 芯片研發(fā)進(jìn)展開始變得緩慢，已經(jīng)很難見到特別新鮮的想法和前所未有的微架構(gòu)了。一方面，這是因?yàn)槊嫦蛞曈X和語音識(shí)別等領(lǐng)域的深度算法迭代幅度開始變小，沒有那么多新的問題需要去解決。另一方面，AI 芯片也無非是一個(gè)特殊領(lǐng)域的 ASIC，很多解決過往問題的思路都可以遷移過來，好的金礦也率先都被挖出來了。因此，在過去兩年，我們看到數(shù)字 AI 芯片的進(jìn)步更多是和業(yè)務(wù)結(jié)合（如互聯(lián)網(wǎng)公司造芯、特斯拉的自動(dòng)駕駛芯片），或者利用一些新的平臺(tái)型技術(shù)（如 HBM、Chiplet、Wafer-Scale Chip），微架構(gòu)也在升級(jí)，但沒有特別突出的大變化。

而更本質(zhì)的問題在于，大家原本寄希望于 AI 芯片領(lǐng)域誕生“破壞性創(chuàng)新”或者“顛覆式創(chuàng)新”的機(jī)會(huì)，目前看起來很難實(shí)現(xiàn)。如圖 1 所示，破壞性創(chuàng)新是指一種簡(jiǎn)單、便捷、成本低的新型技術(shù)，雖然早期達(dá)不到客戶需求的性能，但其會(huì)逐步提升，直到滿足客戶需求、形成對(duì)傳統(tǒng)技術(shù)的顛覆。而芯片領(lǐng)域，流片成本越來越高，在 7nm 節(jié)點(diǎn)達(dá)到了 1 億美金以上，如果沒有大量訂單支撐攤薄成本一般企業(yè)根本無法承受。因此，在 AI 芯片領(lǐng)域變成了：公司越大，芯片賣得越多，芯片越便宜。單純架構(gòu)上的變化，很難實(shí)現(xiàn)簡(jiǎn)單、便捷、低成本，難以成為“破壞性創(chuàng)新”的源泉。

圖 1. 破壞性創(chuàng)新模型（圖源：《創(chuàng)新者的解答》）

在這種情況下，越來越多的新技術(shù)路線得到關(guān)注，比如模擬計(jì)算，存內(nèi)計(jì)算（in-memory computing），光計(jì)算等等。在去年的 Hot Chips，來自于一家法國(guó)創(chuàng)業(yè)公司 Upmem 和普林斯頓大學(xué)賈弘洋博士的兩篇存內(nèi)計(jì)算報(bào)告被錄用就是有力的佐證。

本次 Hot Chips 的 Tutorial 選擇了一條未來極其重要的計(jì)算路線：量子計(jì)算。4 個(gè)報(bào)告其中有兩個(gè)來自于去年實(shí)現(xiàn)了“量子霸權(quán)（Quantum Supremacy）”的 Google 量子計(jì)算團(tuán)隊(duì)，還有兩個(gè)報(bào)告分別來自 IBM 團(tuán)隊(duì)和 Intel 團(tuán)隊(duì)。但盡管量子計(jì)算得到很大的關(guān)注，但距離實(shí)用還非常遙遠(yuǎn)，個(gè)人認(rèn)為至少在 10 年以上。如圖 2，來自于 Intel 量子計(jì)算團(tuán)隊(duì)的 James S. Clarke 所言，實(shí)現(xiàn)了 50 個(gè) qubit，只是完成了概念驗(yàn)證，未來要實(shí)現(xiàn)商用，如進(jìn)行密碼破解，需要實(shí)現(xiàn)超過 100 萬個(gè) qubit，這里還有很長(zhǎng)的路要走。

圖 2. 解決不同問題需要的量子計(jì)算系統(tǒng)規(guī)模 （圖源：James S. Clarke）

孵化自 MIT 的 Lightmatter 團(tuán)隊(duì)介紹的光子計(jì)算方案，相比而言更加接近實(shí)用。利用一種 MEMS 工藝制造的 Mach Zehnder 干涉儀（簡(jiǎn)稱 MZI），光子計(jì)算將傳統(tǒng)的乘法轉(zhuǎn)化為光路的相位調(diào)制與干涉，可以在幾乎不耗能的情況下完成計(jì)算。但是，MZI 本來還是會(huì)對(duì)信號(hào)有一定的損耗，因?yàn)槿绻饴方?jīng)過多個(gè)級(jí)聯(lián)的 MZI，光路損耗的程度可能使得最終結(jié)果出錯(cuò)，也因此沒法做到特別大的計(jì)算陣列。同時(shí)，光子計(jì)算還存在的一個(gè)問題是，仍然需要去解決 memory wall，因?yàn)?MZI 只是代替了乘法器。

值得一提的是，MIT 光子計(jì)算團(tuán)隊(duì)實(shí)際上孵化了兩家創(chuàng)業(yè)企業(yè)，除了 Lightmatter，還有其中的華人團(tuán)隊(duì)創(chuàng)立的 Lightelligence（也被稱為 LightAI，曦智科技）。在這里也希望 Lightelligence 能夠越做越好。

趨勢(shì)三

Keynote 再次回到 AI 算法與應(yīng)用。AI 開始進(jìn)入大規(guī)模應(yīng)用的下一步究竟是什么，機(jī)器人，AR，亦或是腦機(jī)接口？

Hot Chips 作為芯片行業(yè)最巔峰的盛會(huì)，其 Keynote 的選擇，也代表了行業(yè)里大家當(dāng)前最關(guān)注的方向。

2017 年的 Hot Chips，Google 著名的架構(gòu)師，有諸多傳奇和段子的“程序員之神”Jeff Dean，在大會(huì)做了“Recent Advances in Artificial Intelligence via Machine Learning and the Implications for Computer System Design （基于機(jī)器學(xué)習(xí)的人工智能最新進(jìn)展及其對(duì)計(jì)算機(jī)系統(tǒng)設(shè)計(jì)的影響）”，足夠說明 AI 真正地進(jìn)入了主流應(yīng)用，大家都開始關(guān)注 AI 最新的進(jìn)展以及如何去針對(duì)性進(jìn)行系統(tǒng)設(shè)計(jì)。

2018 到 2019 年的幾個(gè) Keynote 都和 AI 沒有什么關(guān)系。2018年芯片行業(yè)重大的新聞是 Intel CPU 被發(fā)現(xiàn)了 Spectre 和 Meltdown 兩個(gè)重大的漏洞，因此 Keynote 邀請(qǐng)了 John Hennessy 教授專門講解兩個(gè)漏洞以及處理器的安全性問題；同年，賽靈思新任總裁兼 CEO Victor Peng 就任，推出了 ACAP （Adaptive Computing Acceleration Platform， 自適應(yīng)計(jì)算加速平臺(tái)） 架構(gòu)，也受到極大關(guān)注，因此也受邀到大會(huì)做 Keynote。2019 年，大家最關(guān)心的問題是摩爾定律是否還能延續(xù)，也因此邀請(qǐng)了 AMD CEO Lisa Su 與斯坦福大學(xué)教授、時(shí)任臺(tái)積電研究 VP 的黃漢森教授分別介紹他們的觀點(diǎn)。

今年的 Keynote，Hot Chips 邀請(qǐng)了 DeepMind 的杰出工程師 Dan Belov 做了題為”AI Research at Scale - Opportunities on the Road Ahead （ 大規(guī)模的人工智能研究——未來的機(jī)遇 ）”的報(bào)告，為大家介紹未來 AI 研究可能帶來的新機(jī)會(huì)。Dan Belov 的報(bào)告，完全沒有提計(jì)算機(jī)視覺、語音識(shí)別等已經(jīng)進(jìn)入規(guī)模應(yīng)用階段的算法，而重點(diǎn)給大家介紹了強(qiáng)化學(xué)習(xí)及其在機(jī)器人領(lǐng)域、圍棋、圖形學(xué)等領(lǐng)域應(yīng)用的進(jìn)展。Dan 指出，從 2012 年的 AlexNet 到現(xiàn)在，算法效率提升了 44 倍（即達(dá)到同樣精度的計(jì)算量），而算法的總計(jì)算量規(guī)模提升了 30 萬倍，我們還有很多工作要做才能填補(bǔ)這近 10000 倍的差距，因此我們還需要關(guān)注全系統(tǒng)設(shè)計(jì)、考慮經(jīng)濟(jì)性問題、在軟件架構(gòu)領(lǐng)域應(yīng)用更多機(jī)器學(xué)習(xí)的最新技術(shù)。

圖 3. 黃漢森教授在 Hot Chips 2019的 Keynote 報(bào)告 （圖源：姚頌）

回到一個(gè)更本質(zhì)的問題，如黃漢森教授在去年的 Hot Chips Keynote 中所說（見圖 3），半導(dǎo)體技術(shù)的發(fā)展很大程度上由重要的應(yīng)用驅(qū)動(dòng)，因?yàn)槲覀冃枰ダ斫夂皖A(yù)測(cè)未來的新應(yīng)用——這也是為什么會(huì)邀請(qǐng)做算法的企業(yè) DeepMind 來一個(gè)芯片的行業(yè)峰會(huì)做 Keynote 的原因。從 20 世紀(jì) 40 年代的無線電，到 70 年代的計(jì)算機(jī)，到 90 年代的 PC 和互聯(lián)網(wǎng)，到 21 世紀(jì)前 20 年的手機(jī)與移動(dòng)設(shè)備，再在現(xiàn)在這個(gè)時(shí)間點(diǎn)，移動(dòng)的市場(chǎng)趨于飽和，AI 開始進(jìn)入大規(guī)模應(yīng)用，理所當(dāng)然大家也都在思考，下一步究竟是什么？是機(jī)器人，是 AR，亦或是腦機(jī)接口？

結(jié)語

AI 芯片不是技術(shù)游戲。

曾經(jīng)創(chuàng)業(yè)的經(jīng)歷讓我有機(jī)會(huì)接觸到各行各業(yè)的創(chuàng)業(yè)者與投資人。曾經(jīng)聽過一位投資人分享互聯(lián)網(wǎng)交易平臺(tái)的邏輯和壁壘：對(duì)于這類平臺(tái)，一方連接的是供給方，一方連接的是需求方，當(dāng)經(jīng)過發(fā)展，供需雙方的數(shù)量達(dá)到了一定的臨界值之后，平臺(tái)就不需要再付出特別大的成本而可以獲得用戶規(guī)模的自然增長(zhǎng)，如圖4所示。平臺(tái)幾乎可以說是模式最牢固、收益最高的商業(yè)模型了，如大家熟知的淘寶、微信、大眾點(diǎn)評(píng)、美團(tuán)外賣、拼多多、抖音、快手，都是這一類。

圖 4. 供給和需求側(cè)達(dá)到一定規(guī)模，互聯(lián)網(wǎng)應(yīng)用開始自然增長(zhǎng) （圖源：姚頌）

而對(duì)于 AI 芯片，大家總是討論技術(shù)，但實(shí)際上要做的遠(yuǎn)遠(yuǎn)不止技術(shù)。從 2017年起，我在所有公眾報(bào)告中就在強(qiáng)調(diào)軟件的重要性，強(qiáng)調(diào)不止要讓芯片性能很好，還要讓用戶可以極其簡(jiǎn)單的用起來新的芯片。而我也經(jīng)常引述有贊創(chuàng)始人白鴉對(duì)于產(chǎn)品的金字塔模型，提到對(duì)于 AI 芯片產(chǎn)品來說，要讓用戶“離不開”，最重要的是開源生態(tài)、是社區(qū)。到現(xiàn)在，我越來越感覺到，AI 芯片的競(jìng)爭(zhēng)，最根本的，就是類似于互聯(lián)網(wǎng)平臺(tái)的生態(tài)競(jìng)爭(zhēng)，如圖 5 所示，當(dāng)有了足夠多的開源項(xiàng)目，在用戶初次接觸 AI 芯片時(shí)，就有更高的幾率使用你的芯片，而之后他又可能繼續(xù)貢獻(xiàn)更多的開源項(xiàng)目，實(shí)現(xiàn)正循環(huán)。也因?yàn)榇耍愳`思越來越重視軟件生態(tài)，越來越重視開發(fā)者，推出了 Vitis 這樣面向所有類型開發(fā)者的軟件平臺(tái)，并且把開發(fā)者生態(tài)作為重點(diǎn)領(lǐng)域持續(xù)推進(jìn)。

圖 5.AI 芯片生態(tài)開拓與互聯(lián)網(wǎng)平臺(tái)的類似性（圖源：姚頌）

目前，AI 芯片領(lǐng)域開發(fā)者生態(tài)的領(lǐng)導(dǎo)者是英偉達(dá)：據(jù)最新一次發(fā)布會(huì)上英偉達(dá)創(chuàng)始人、CEO 黃仁勛披露，已經(jīng)有 180 萬 AI 開發(fā)者使用英偉達(dá) GPU；而AI的初學(xué)者，我相信 99% 以上都會(huì)選擇買一塊 GPU、下載開源代碼進(jìn)行嘗試。那 AI 芯片的初創(chuàng)企業(yè)，其他的大型芯片企業(yè)還有機(jī)會(huì)嗎？我腦海中蹦出來兩個(gè)點(diǎn)：

第一，在鋼琴推廣上，聽過一句話叫“一個(gè)郎朗勝過一萬名鋼琴老師”。第二，同是平臺(tái)，不同平臺(tái)的穩(wěn)固程度是不一樣的：如淘寶，每個(gè)商家都有自己的供應(yīng)鏈、有自己在營(yíng)銷上的投入成本，因而會(huì)更為穩(wěn)固；而滴滴，接入的個(gè)人司機(jī)，在切換平臺(tái)上沒有太多成本，因此哪里補(bǔ)貼高，司機(jī)就去哪個(gè)平臺(tái)接單。

賽靈思也仍在 AI 開發(fā)者生態(tài)領(lǐng)域努力，歡迎大家加入，也歡迎大家一起討論。

THE END

關(guān)于作者

姚頌：現(xiàn)任賽靈思人工智能業(yè)務(wù)高級(jí)總監(jiān)，負(fù)責(zé)公司在全球領(lǐng)域的人工智能業(yè)務(wù)拓展和生態(tài)建設(shè)。加入賽靈思之前，姚頌為深鑒科技（ 2018 年 7 月并入賽靈思公司）聯(lián)合創(chuàng)始人、首席執(zhí)行官，帶領(lǐng)團(tuán)隊(duì)自主研發(fā)了高效的深度學(xué)習(xí)平臺(tái)，致力于為智能安防與數(shù)據(jù)中心等行業(yè)提供集算法、軟件、芯片為一體的人工智能方案。