機(jī)器學(xué)習(xí)是近段時間以來的大熱門，而盡管 EDA 處理的也是大數(shù)據(jù)類型的問題，但在將機(jī)器學(xué)習(xí)技術(shù)整合進(jìn) EDA 工具方面還沒有取得很大的進(jìn)展。 許多 EDA 問題和解決方案本質(zhì)上就是關(guān)于統(tǒng)計的，這說明機(jī)器學(xué)習(xí)自然而然適合 EDA。那為什么這個領(lǐng)域在采用機(jī)器學(xué)習(xí)技術(shù)上如此緩慢而視覺識別和搜索等其它技術(shù)領(lǐng)域卻可以如此輕松地接納它？ Solido Design Automation 技術(shù)運(yùn)營副總裁 Jeff Dyck 表示：“你可以感受到這是一個機(jī)器學(xué)習(xí)問題。我們有大量的數(shù)據(jù)，但我們可以應(yīng)用哪些方法來解決這些問題？這才是難點(diǎn)。不是說讀一本教科書或?qū)W一門課就能將這些方法應(yīng)用到所有問題上。工程問題需要一個不同的角度。” 在深入了解機(jī)器學(xué)習(xí)在哪些地方有所應(yīng)用之前，我們先看看一些問題。 從基于規(guī)則到深度學(xué)習(xí) 我們首先對這些技術(shù)進(jìn)行一個分類吧。“從最廣義的角度講，在 EDA 領(lǐng)域，我們?nèi)慷家呀?jīng)習(xí)慣了基于規(guī)則的方法（rule-based techniques，RBT）。”英偉達(dá)資深工程總監(jiān) Ting Ku 解釋說，“實際上機(jī)器學(xué)習(xí)是RBT的一個子集，而深度學(xué)習(xí)又是機(jī)器學(xué)習(xí)的一個子集。RBT是確定性的，不會涉及到數(shù)據(jù)庫，也不會定義特征。而機(jī)器學(xué)習(xí)的出發(fā)點(diǎn)是統(tǒng)計的，而非確定性的，而且因為必須從經(jīng)驗中學(xué)習(xí)，所以還會涉及到數(shù)據(jù)庫。使用機(jī)器學(xué)習(xí)，我們也許還需要預(yù)定義的特征，而這正是機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的區(qū)別。對于深度學(xué)習(xí)而言，除了沒有預(yù)定義的特征，其它都和機(jī)器學(xué)習(xí)一樣。所以問題來了：‘特征（feature）是什么？’” 圖 1：技術(shù)分類 一旦你有了特征并存儲了足夠的數(shù)據(jù)，你就要想辦法把它們用起來。“搜索整個設(shè)計空間是不切實際的。”NetSpeed Systems營銷和業(yè)務(wù)開發(fā)副總裁 Anush Mohandass 說，“由于該空間高度非線性的本質(zhì)，搜索時間會隨著搜索范圍擴(kuò)大而指數(shù)級增加。對于這樣的問題，機(jī)器學(xué)習(xí)（其中，過去的解決相似問題的經(jīng)驗可被用作訓(xùn)練數(shù)據(jù)，從而學(xué)習(xí)和預(yù)測可用于相似的新問題的解決方案）表現(xiàn)了巨大的潛力。” 機(jī)器學(xué)習(xí)的方法有很多，大體上可分為監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)。大多數(shù) EDA 應(yīng)用都著眼于監(jiān)督學(xué)習(xí)。E3 Data Science 的 CTO Eric Hall 解釋說：“有兩種類型的監(jiān)督學(xué)習(xí)。回歸（regression）可用于我們想要預(yù)測數(shù)值的情況，而分類（classification）則可用于預(yù)測多個結(jié)果中一個結(jié)果的情況。可以解決這些問題的機(jī)器學(xué)習(xí)算法有很多，但是卻沒有任何一種能夠單獨(dú)解決所有問題。” 也還存在其它問題，Hall 補(bǔ)充說：“在尋找未被發(fā)現(xiàn)的特征來對非線性進(jìn)行建模方面，深度學(xué)習(xí)技術(shù)表現(xiàn)很出色，但它卻是一個黑箱，難以解釋而且可能需要很長的訓(xùn)練時間。” 訓(xùn)練 機(jī)器學(xué)習(xí)技術(shù)的表現(xiàn)取決于其訓(xùn)練所用的數(shù)據(jù)。“機(jī)器學(xué)習(xí)是一個迭代過程，”Ku 說，“機(jī)器學(xué)習(xí)算法根據(jù)輸入數(shù)據(jù)有相應(yīng)輸出。這些輸出可能不正確，所以你還必須要驗證。完成之后，這些數(shù)據(jù)又被包含回數(shù)據(jù)庫。這時候就該開始再訓(xùn)練（rertraining）了。這個循環(huán)一直持續(xù)。在某種程度上，我們希望這些迭代循環(huán)能夠使得該模型相當(dāng)準(zhǔn)確，使得其在看到一個新案例時能夠做出很好的預(yù)測。” 在許多案例中，數(shù)據(jù)可能來自于以前的設(shè)計，但這就夠用了嗎？Solido 的 Dyck 說：“想象一下，假如有 2000 個并行工作的 SPICE 模擬器要解決一個我們以前從未見過的芯片的一種從未見過的制造工藝問題。我們可以收集一些過去做法的信息并使用這些信息來塑造模型，但我們也有實時數(shù)據(jù)。這是實時機(jī)器學(xué)習(xí)以及實時構(gòu)建模型。” 而實時學(xué)習(xí)還有其它很多問題。“如果流數(shù)據(jù)（streaming data）出了什么問題或者有會污染模型的錯誤答案，那你就需要過濾或調(diào)整它——而這是非常艱難的。”他補(bǔ)充說，“我們需要自動恢復(fù)和修復(fù)。當(dāng)出現(xiàn)問題時，你必須要能夠?qū)α鲾?shù)據(jù)進(jìn)行調(diào)試。” 但調(diào)試機(jī)器學(xué)習(xí)系統(tǒng)還是一個相對未知的領(lǐng)域。驗證技術(shù)就算有，也只是寥寥無幾。 涉及 EDA 流程的學(xué)習(xí)還有其它一些類型。“我們需要能通過設(shè)計實現(xiàn)過程獲取知識，”高通高級技術(shù)總監(jiān) Sorin Dobre 說，“EDA 有一個很好的機(jī)會，可以將監(jiān)督和無監(jiān)督機(jī)器學(xué)習(xí)解決方案擴(kuò)展用于設(shè)計流程優(yōu)化（design flow optimization）。我們有20 年經(jīng)驗的高級工程師可以確保高質(zhì)量的設(shè)計，但我們也需要幫助剛剛開始的設(shè)計師。我們沒法等上五年時間才完全發(fā)揮他們的生產(chǎn)力。” 就算對經(jīng)驗豐富的設(shè)計師，這個工作也正變得越來越難。“過去，架構(gòu)師根據(jù)他們的經(jīng)驗來設(shè)計互連（interconnect），并且根據(jù)他們的直覺來做出關(guān)于拓?fù)浣Y(jié)構(gòu)和布線選擇的關(guān)鍵設(shè)計決策。” NetSpeed 的 Mohandass 說，“但是，這種方法并不適用于片上需求非常多樣化的異構(gòu)系統(tǒng)。由于多個片上器件之間交互的復(fù)雜性，要設(shè)計一種接近最優(yōu)的，而且能夠工作的、表現(xiàn)良好的、還考慮了所有用例的互連實際上是不可能的。” 數(shù)據(jù)集 Plunify 的 CEO Harnhua Ng 說：“獲取一個好的數(shù)據(jù)集可能難度很大。這些工具的學(xué)習(xí)能力可以保證當(dāng)工程團(tuán)隊使用它們越多時，學(xué)習(xí)數(shù)據(jù)庫就會變得越聰明，從而加速設(shè)計完成的時間。” 所以只有那些已經(jīng)有大規(guī)模數(shù)據(jù)集的人可以使用這些技術(shù)嗎？或者 EDA 可以提供初始的訓(xùn)練嗎？“對于 EDA 領(lǐng)域的許多機(jī)器學(xué)習(xí)應(yīng)用而言，與算法相關(guān)的參數(shù)選擇和訓(xùn)練需要完全在設(shè)計客戶或代工廠的計算環(huán)境內(nèi)進(jìn)行。”Cadence 的杰出工程師 David White 說，“在這些應(yīng)用中，最具挑戰(zhàn)性的任務(wù)是創(chuàng)建自動化的訓(xùn)練和驗證方法，使其可以確保算法在目標(biāo)硅技術(shù)上按預(yù)期運(yùn)行。在一些案例中，更先進(jìn)和更復(fù)雜的機(jī)器學(xué)習(xí)方法可以提供更高的準(zhǔn)確度，但要在該領(lǐng)域提供支持卻最為困難。在開發(fā)過程中，人們需要根據(jù)所需的準(zhǔn)確度以及可用訓(xùn)練數(shù)據(jù)的數(shù)量和其它支持以及模型相關(guān)的約束條件來權(quán)衡合適的算法與架構(gòu)選擇。” 聽上去很難，實際上也正是如此。“EDA 問題有很高的維度、高階的互動、不連續(xù)性和非線性，需要先進(jìn)的實驗技術(shù)設(shè)計、先進(jìn)的監(jiān)督學(xué)習(xí)、智能篩選和過濾以及基準(zhǔn)基礎(chǔ)設(shè)施（benchmarking infrastructure）。”Solido 總裁兼 CEO Amit Gupta說，“此外，EDA 問題還有很高的流數(shù)據(jù)速率和大規(guī)模的數(shù)據(jù)歸檔，需要優(yōu)化的流解析器（streaming parser）、可并行化算法、高效和可擴(kuò)展的集群管理、自動恢復(fù)和修復(fù)以及大數(shù)據(jù)調(diào)試。” Mohandass給出了一個互連設(shè)計所需的數(shù)據(jù)集的例子。“完美的互連策略依賴于非常大量的 SoC 參數(shù)，其中包括布圖（floorplan）、布線約束、可用資源、連接要求、協(xié)議層面的依賴、時鐘特性、工藝特性（比如線延遲、功耗、帶寬和延遲約束）等等。設(shè)計策略空間中不同維度的數(shù)量可以增至數(shù)百個，這會創(chuàng)造一個過大的設(shè)計空間。” 基礎(chǔ)設(shè)施 這個問題有幾個維度。Synopsys 副總裁兼 CIO Hasmukh Ranjan 說：“機(jī)器學(xué)習(xí)可以被用在 EDA 中，但為了最大化其所帶來的好處，機(jī)器學(xué)習(xí)既應(yīng)該被用在這些工具本身之中，也應(yīng)該圍繞這些工具用在設(shè)計流程之中。” 高通的 Dobre 表示同意：“沒必要將所有東西都做到 EDA 工具里面。你可以用獨(dú)立的機(jī)器學(xué)習(xí)解決方案來驅(qū)動已有的工具。” IC Manage 的執(zhí)行副總裁 Shiv Sikand 提供了一個例子：“通過分析之前流片（tapeout）的數(shù)十億個數(shù)據(jù)點(diǎn)，我們可以預(yù)測漏洞、設(shè)計復(fù)雜度、人力資源、證書的影響，并計算當(dāng)前項目服務(wù)器集群的吞吐量。通過確定半導(dǎo)體設(shè)計中的瓶頸，我們可以提供前瞻性預(yù)測并識別潛在的延遲。” 我們可能也需要檢查我們運(yùn)行工具的基礎(chǔ)設(shè)施。“我們也需要考慮智能存儲，”Sikand 補(bǔ)充說：“通過分析與文件操作相關(guān)的數(shù)據(jù)流，聚類和回歸分析等機(jī)器學(xué)習(xí)技術(shù)可以持續(xù)改進(jìn) P2P 網(wǎng)絡(luò)和緩存管理，以提供更好的應(yīng)用性能。” Dobre 的團(tuán)隊也很熟悉這些問題：“我們有包含數(shù)以萬計 CPU 的計算農(nóng)場。當(dāng)你查看需要同時驗證的設(shè)計的數(shù)量時，你該怎樣以一種最優(yōu)的方式來使用這些資源，而不造成資源需求爆炸？這就需要數(shù)據(jù)管理。你該怎么有效地應(yīng)對在設(shè)計空間和在代工方面的這么多的數(shù)據(jù)，并提取出下一設(shè)計所需的知識和信息以減少學(xué)習(xí)周期？” 將運(yùn)行該機(jī)器學(xué)習(xí)算法的機(jī)器又增加了額外的另一個維度。“機(jī)器學(xué)習(xí)將通過現(xiàn)有的復(fù)雜算法來減少設(shè)計和仿真的時間。” Markets and Markets 副總監(jiān) Sachin Garg 說，“EDA 工具可以采納或采取智能決策來使其更進(jìn)一步，但我們需要更好的硬件（CPU GPU）來運(yùn)行如此復(fù)雜的機(jī)器學(xué)習(xí)算法，以使其更有效率。當(dāng)前一代又一代的 GPU 可以為并行計算負(fù)載提供巨大的加速和出色的性能擴(kuò)展。” Cadence 的 White 同意這個說法：“在大規(guī)模并行計算架構(gòu)領(lǐng)域的進(jìn)步為基于假設(shè)的優(yōu)化和驗證（ what-if based optimization and verification）開啟了大門，從而可以有效地探索設(shè)計空間和融合最有潛力的決策。” 應(yīng)用領(lǐng)域 成功依賴于定義正確的特征集合的能力。“以考慮工藝偏差（variation）的設(shè)計為例，”Ku 說：“如果你想建模一個概率密度函數(shù)，你需要屬性（attribute）。特征（feature）是能將一種事物與另一種事物區(qū)分開的屬性。對于人來說，特征可能是頭發(fā)顏色、身高、性別。對于考慮工藝偏差的設(shè)計而言，特征則可能是 PVT 角、定義器件變化的算法和器件的隨機(jī)變量。所以特征就是一些對一個特定問題重要的東西。” 在 10nm 和 7nm 工藝上，我們可以看到有很多工藝偏差。“代工廠提出新工藝技術(shù)的努力是很重要的。”Dobre 說，“即便這是在數(shù)字領(lǐng)域，也需要將庫元素看作是模擬設(shè)計。你必須跨多個工藝角來對設(shè)計進(jìn)行驗證。你該怎樣在不出現(xiàn)所需資源爆表的情況下實現(xiàn)高質(zhì)量？機(jī)器學(xué)習(xí)可以將生產(chǎn)力提升 10 倍、減少數(shù)周的測量時間和減少資源消耗。在識別會導(dǎo)致產(chǎn)量不達(dá)標(biāo)的模式上，機(jī)器學(xué)習(xí)是一種有效方法。我們看到了其中的巨大潛力，可以帶來經(jīng)濟(jì)效益。” EDA 正在努力解決這個問題。“對于先進(jìn)節(jié)點(diǎn)的設(shè)計，新型的硅技術(shù)和額外的驗證需求帶來了更大的不確定性，從而也提升了潛在的風(fēng)險。”White 說，“在傳統(tǒng)的設(shè)計流程中，先前的設(shè)計和布局?jǐn)?shù)據(jù)并不會被有效地用來幫助指導(dǎo)下一個設(shè)計。分析方法的進(jìn)步允許我們檢查（開采）之前的設(shè)計數(shù)據(jù)和趨勢，并將其用于在設(shè)計流程的最早期階段指導(dǎo)設(shè)計決策。這些同樣的方法也可以被用于發(fā)現(xiàn)和提供驅(qū)動機(jī)器學(xué)習(xí)引擎的訓(xùn)練和開發(fā)的背景（context）。這樣的解決方案很可能需要利用大量的數(shù)據(jù)和數(shù)百個機(jī)器學(xué)習(xí)組件，它們都將需要管理和驗證。一旦數(shù)據(jù)被放在了適當(dāng)?shù)谋尘爸校瑱C(jī)器學(xué)習(xí)就可以被用于獲取復(fù)雜行為提供的分析（比如寄生、電氣、驗證），而且準(zhǔn)確度高、速度快。” 另外還有一些其可以提供幫助的設(shè)計領(lǐng)域。Hall 說：“我們可以將其用于內(nèi)存或邏輯門的功率估計或時序估計。這將能減少不確定性并為人類工作提供補(bǔ)充，從而可以創(chuàng)造出更具競爭力的產(chǎn)品。” 另一個正在出現(xiàn)解決方案的領(lǐng)域是布線（routing）。“在互連設(shè)計的背景中，第一步是識別每一個維度中設(shè)計策略的組合，這能為之前大量不同的 SoC 設(shè)計帶來優(yōu)良的解決方案。” Mohandass 指出，“下一步是使用這些信息來學(xué)習(xí)模式并預(yù)測哪些策略組合將最有可能帶來優(yōu)良設(shè)計。” 類似的技術(shù)也可應(yīng)用于 FPGA 布線。“帶有復(fù)雜時序和性能封閉（performance closure）問題的復(fù)雜 FPGA 設(shè)計是基于機(jī)器學(xué)習(xí)技術(shù)的工具的良好候選項。” Plunify 的 Ng 補(bǔ)充說，“機(jī)器學(xué)習(xí)工具能夠分析過去的編譯結(jié)果，從而可在數(shù)以千萬億計的可能方案中預(yù)測出最優(yōu)的綜合/布局和布線參數(shù)以及布放位置。它們可以使用統(tǒng)計建模和機(jī)器學(xué)習(xí)來推斷哪些工具參數(shù)對一種設(shè)計最優(yōu)，以從數(shù)據(jù)中提取見解來提升結(jié)果的質(zhì)量。” 值得信任的結(jié)果 但相對于其它機(jī)器學(xué)習(xí)應(yīng)用，設(shè)計面臨著更大的障礙。“最后如果一個方案存在設(shè)計過于激進(jìn)或過于保守的風(fēng)險，人們就不會采用這個方案。”Dyck 解釋說，“機(jī)器學(xué)習(xí)工具是大型的估計器。你不能要求人們?nèi)バ湃嗡Ｋ晕覀冃枰軌蚯宄?zhǔn)確度的建模技術(shù)。目前這種技術(shù)還非常少——你必須發(fā)明它們。我們需要主動的學(xué)習(xí)方法，可以逐步發(fā)現(xiàn)相關(guān)的領(lǐng)域，而這些往往在最糟糕的情況旁邊。要向我展示可能會導(dǎo)致芯片失敗的地方，并且在那個區(qū)域提供清楚的洞察。這樣你就要在這些區(qū)域直接進(jìn)行實驗。針對問題領(lǐng)域是很重要的。” Dyck 還指出了 EDA 所面臨的另一個障礙：“如果你不能證明一個答案是正確的，他們就不會接受它。所以你需要設(shè)計可驗證的算法。你需要將驗證用作該技術(shù)的一部分，這樣當(dāng)你給出一個答案時，你就可以說明它在運(yùn)行時是正確的。” 總結(jié) 機(jī)器學(xué)習(xí)已經(jīng)開始滲透進(jìn) EDA 和設(shè)計流程中了。Gupta 說：“機(jī)器學(xué)習(xí)已經(jīng)開始在 EDA 領(lǐng)域發(fā)揮重要的作用。它還有進(jìn)一步提供顛覆性技術(shù)突破來解決半導(dǎo)體難題的機(jī)會。” 但我們還有很長的路要走。Ku 說：“今天我們看到的只是冰山一角。我們希望未來 EDA 能停止提供數(shù)據(jù)。數(shù)據(jù)當(dāng)然很好，但我們真正需要的是決策。你需要做的就是在數(shù)據(jù)和決策之間加入一層，該機(jī)器算法可以通過學(xué)習(xí)數(shù)據(jù)來了解應(yīng)該做出怎樣的決策。EDA 正處在進(jìn)行這項工作的完美位置上。”