最近，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi指出，計算機通過嘗試錯誤法（trial and error）進行學習的機器學習算法已經成為“煉金術”的一種形式。Rahimi說，如果不深入了解構建和訓練新算法所需的基本工具，研究人員就會像中世紀的煉金術士一樣用道聽途說的方法來研究人工智能。

去年在NIPS會議上，谷歌的AI研究人員、"Test of Time Award"得主Ali Rahimi（阿里·拉希米）對他所在的研究領域進行了一次猛烈的抨擊。

Rahimi在NIPS現場的演講中指出，計算機通過嘗試錯誤法（trial and error）進行學習的機器學習算法已經成為“煉金術”的一種形式。他說，研究人員不知道為什么某些算法有效，而其他算法不起作用，在選擇AI架構方面也沒有嚴格的標準。

最近，在ICLR 2018發表的一篇論文中，Rahimi和幾位合作者列舉了他們認為是煉金術問題的一些案例，并為提高AI的嚴謹性提出了一些處方。

“這個領域存在一種’痛苦’，”Rahimi說，“我們中許多人感覺自己使用的是一種外星技術。”

在解釋 “煉金術” 時，Rahimi 說道：“吳恩達說過，機器學習就是新時代的電力。我卻認為機器學習慢慢變成了新時代的煉金術。煉金術本身并不是壞事。它推動了冶金、紡織、化工、醫療等技術的發展，但是同時煉金術師也相信真的能把銅片變成黃金。 我希望我所生活的世界是基于非常穩固、有規律、有系統理論的知識體系上，而不是煉金術上。”

煉金術問題與AI的可重復性問題不同。可重復性問題是指，由于實驗和發表的不一致，研究人員無法復制彼此的結果。

煉金術問題也與機器學習的“黑箱”問題或“可解釋性”問題不同，后者是指難以解釋特定的AI如何得出其結論。

正如Rahimi所言，煉金術問題和黑箱問題的區別在于，“一個機器學習系統是黑箱”和“整個領域變成了黑箱”。

Rahimi說，如果不深入了解構建和訓練新算法所需的基本工具，研究人員就會像中世紀的煉金術士一樣用道聽途說的方法來研究人工智能。

谷歌的計算機科學家Francois Chollet補充說：“人們受草包族科學吸引，”依靠“民間傳說和魔法咒語”。例如，他說，研究人員傾向于采用一些小技巧來調整他們的AI的“學習率”—— 算法在每次錯誤后自行糾錯的比率——而不理解為什么某個算法比其他的更好。

另一些情況下，研究人員像在黑暗中亂撞一樣訓練他們的算法。例如，他們實現了所謂的“隨機梯度下降”，以優化算法的參數，獲得盡可能低的失敗率。然而，盡管有數千篇關于隨機梯度下降的學術論文，以及無數應用該方法的技巧，這個過程仍然依賴于試錯。

隨機梯度下降使用嘗試錯誤法來優化算法，目標是找到3D景觀中的最小值

Rahimi的論文強調了可能導致的浪費精力和次優性能。例如，論文指出，當其他研究人員對一個state-of-the-art的語言翻譯算法去除了大部分的復雜性時，它實際上在將英語翻譯成德語或法語時的表現更好了，這表明算法的原作者并沒有完全理解這些額外的部分有什么好處。

反過來，Twitter的一名機器學習研究人員Ferenc Huszar說，有時候，附加在算法上的花里胡哨的那些東西是這個算法唯一好的部分。他說，在某些情況下，算法的核心部分在技術上是有缺陷的，這意味著它的好結果“完全歸功于應用的其他技巧”。

至于機器學習中哪些算法、什么時候表現最好，Rahimi提出了一些建議。他說，對于初學者來說，研究人員應該像翻譯算法那樣進行“消融研究”：一次刪除算法的一個部分，以查看每個組件的功能。他呼吁進行“切片分析”，在此基礎上，對算法的性能進行詳細分析，以了解某些地方的改進會怎樣在其他方面產生損失。

Rahimi還說，研究人員應該對他們的算法進行多種不同條件和設置的測試，并報告所有設置下算法的性能。

加州大學伯克利分校（UC Berkeley）的計算機科學家Ben Recht是拉希米有關煉金術演講的共同作者，他提出，AI需要借鑒物理學的方法。在物理學中，研究人員經常把問題縮小到一個更小的“玩具問題”（toy problem）。“物理學家很擅長設計簡單的實驗來找到對現象的解釋。”他說。

一些AI研究人員已經開始采用這種方法，例如，在測試圖像識別算法時，先在小的黑白手寫字符上實驗，而非直接處理大幅的彩色照片，以更好地理解算法的內部機制。

DeepMind的計算機科學家Csaba Szepesvari認為，這個領域還需要減少對競爭性測試的重視。他說，目前，如果報告的算法優于某些基準，那么論文更有可能得到發表，而不是論文揭示了該軟件的內部工作原理更容易發表。

這就是那些花里胡哨的翻譯算法能夠通過同行評審的方式。“科學的目的是產生知識，”Szepesvari說，“你要生產出別人可以采用、可以成為研究的基石的東西。”

但并不是每個人都同意Rahimi和Recht的批評。Facebook的首席人工智能科學家Yann LeCun擔心，將過多的精力從研究前沿技術轉移到核心的理解上可能會減緩創新的速度，阻礙AI的實際應用。“這不是煉金術，而是工程學。”LeCun說，“工程就是亂糟糟的。”

Recht認為有條不紊的研究和大膽開拓的研究可以達到一個平衡。“我們兩者都需要，”他說，“我們需要了解哪些地方出現故障，以構建可靠的系統；我們也必須推進研究的前沿，以實現更多令人贊嘆的系統。”