近日,NVIDIA 創始人兼首席執行官黃仁勛做客知名播客欄目—— “Acquired Podcast” ,在節目中與主持人 Ben Gilbert 和 David Rosenthal一起回顧了 NVIDIA 從圖形處理器到數據中心再到人工智能的發展歷程,介紹了 NVIDIA 平臺戰略背后的故事,也總結了 NVIDIA 的成功之道。
本期節目將分三期講述,敬請期待后續精彩內容!
NVIDIA 的關鍵時刻 —— RIVA128
黃仁勛首先回顧了公司早期發展面臨的挑戰。其中,談到了一次關鍵轉折 —— RIVA 128,這個項目重塑了公司的發展道路。
作為第一家消費級 3D 圖形公司,NVIDIA 在構建 RIVA 128 時面臨了許多挑戰。并且由于涌現了大量的競爭對手,市場格局發生了巨大變化。然而,正是這段逆境時期,促使 NVIDIA 做出了一系列關鍵戰略決定,而這些決定對 NVIDIA 的未來發展至關重要。
當時,NVIDIA 將精力重新集中于構建全球第一款加速的 3D 渲染硬件,即 RIVA 128,不遺余力地最大化其功能。包括實施紋理緩存,推動總線和幀緩沖的極限,并使用最快的存儲器創建一個異常龐大的芯片,確保產品在市場上有足夠的競爭力。
技術為王,PC 發展初期的制勝之道
當時的 PC 行業還處于發展初期,性能一直是用戶關注的重點。NVIDIA 觀察到市場上存在一部分潛在的發燒友用戶,他們渴望擁有支持高速運行的產品。如果產品性能一年可提高 10 倍,將會有眾多的發燒友愿意購買。事實證明上述觀察是正確的,PC 行業確實存在一個追求性能的龐大發燒友市場,他們會根據性能而選擇購買產品。因此 NVIDIA 獲得了可持續發展技術的寶貴機會,技術得以不斷改進。專注提升技術的這一決策為 NVIDIA 成功打下了基礎。
此外,黃仁勛還談到了 NVIDIA 選擇使用模擬技術的決策。當時,在 ICOS 公司即將倒閉之時,NVIDIA 買下了其全部庫存。對于當時的 NVIDIA 而言,相較于一般發布芯片的流程,公司只有僅僅六個月的時間,因此沒有試錯的機會。他們必須要發布一款完美的芯片。當被問到如何能確定是一款完美的芯片時,黃仁勛說:“我知道這一定會是一款完美的芯片,因為如果不是的話,我們就要關門大吉了。我們只有一次機會?!?/p>
由于采購了 ICOS 公司的模擬器,NVIDIA 可以在虛擬環境中測試芯片。軟件團隊編寫了整個軟件堆棧,將其運行在這個模擬器上,并等待 Windows 系統的反應。他回憶說,當決定發布芯片的那一天,芯片被認為是完美的。NVIDIA 提前測試了所有可能的情況,并向每個人宣布:NVIDIA 要發布芯片!這肯定是完美的芯片!“當你知道自己要發布芯片,并且是一款完美的芯片,那么下一步顯然就是量產了。”
CUDA 也是如此。NVIDIA 一直在思考如何在 GPU 上創建一個高級別的抽象層,以更高級別的編程語言和表達方式進行操作。這個抽象層的概念是為了將 GPU 用于更廣泛的應用,如 CT 重建和圖像處理。當時,NVIDIA 的這一想法獲得了一些積極的反饋,他們認為通用計算是可行的。這是一個高度并行的、大規模線程的處理器,也是世界上唯一能做到這一點的處理器。通過觀察可編程著色器的管線結構,團隊認為 GPU 擁有大規模并行處理的能力,這使得 CUDA 平臺的成功變為可能。
對于世界上許多問題而言,NVIDIA 更關注其可預測性,這種方法適用范圍極為廣泛,包括預測購物趨勢、音樂選擇,甚至天氣預測。黃仁勛指出,這種方法可能影響很多產業,因為幾乎每一款軟件都可以通過這種方式進行編程,因此構建計算機和芯片的方式將徹底改變。明白這些道理后,剩下的就是是否有勇氣投入資源加速創新。
OpenAI 和大語言模型的故事
黃仁勛表示,雖然他沒有參與創建 OpenAI,但和該公司許多重要人員都保持密切聯系。黃仁勛強調,最初研發的 DGX 即現在的 Hopper,重 70 磅,有 35,000 個零件,10,000 安培。由于了解 OpenAI 對大型計算機的需求,所以黃仁勛親自將第一版 DGX 交付給 OpenAI,這一刻成為了他的美好回憶。
黃仁勛認為與研究人員的討論和交流是 NVIDIA 所需要的積極反饋方式,因為 NVIDIA 初期的成功就主要集中在協助研究人員提高工作水平。盡管深度學習在當時的情況下并不十分實用,但他始終堅信,只需一些改進,這項技術將會變得非常卓越。這種信念源于他與該領域杰出研究人員的互動,以及他所見證的漸進性的進步。黃仁勛還特別提到研究論文的發表速度從最初每三個月一篇增加到了如今的每天都有新作。這也表明,深度學習領域的進步正在以指數級增長。
在談及大型語言模型時,黃仁勛指出最初的印象是它能夠在屏蔽一些詞匯的情況下巧妙地預測下一個詞,他認為這展現了自我監督學習的最佳實踐。黃仁勛強調大家都有文本,并且都知道答案是什么,只需要進行猜測,因此他最初對 BERT 的印象是它非常聰明。然而,黃仁勛同時指出現在的挑戰在于如何將這項技術擴展到更廣泛的范圍。他認為對于幾乎所有事物的首次觀察都是令人著迷的,隨后則需要努力理解其原理。所以接下來的步驟是基于第一原則出發,思索如何將這項技術應用到更廣泛的領域。他預測 BERT 在未來會變得更為龐大。
數據中心之旅
黃仁勛在節目中提到,NVIDIA 的數據中心之旅從 2017 年前開始。他總是被問,公司可能會面臨什么挑戰?
黃仁勛認為,如果一項技術需要部署到計算機,那這臺計算機必須放在你身邊。因為它必須連接顯示器,這將在未來限制發展機會。當時,可插入 GPU 的臺式電腦非常有限,同時可以驅動的 CRT 顯示器和液晶顯示器也很有限。所以如果計算機不需要連接顯示設備,就可以在其他地方進行計算。
GeForce NOW 是 NVIDIA 的第一個數據中心產品。NVIDIA 的第二個數據中心產品是用于遠程圖形計算,它將 NVIDIA 的 GPU 置于全球企業數據中心。接著 NVIDIA 推出了第三款產品,它將 CUDA 和 GPU 結合起來,成為一臺超級計算機。
隨后 NVIDIA 朝著更多方向努力。這一切之所以如此重要,是因為 NVIDIA 分離了計算和產品使用的地點。黃仁勛認為如果能將二者分離,市場機會將會迅速擴大。這種分離意味著不再受制于臺式電腦所帶來的物理限制,也不再受限于每人一塊 GPU 的局限。換句話說,無論計算發生在哪里都不再重要。
GTC 2024 將于 2024 年 3 月 18 至 21 日在美國加州圣何塞會議中心舉行,線上大會也將同期開放。點擊“閱讀原文”或掃描下方海報二維碼,關注更多會議及活動信息。
原文標題:NVIDIA CEO 黃仁勛做客 “Acquired Podcast” ,回憶創業心路歷程
文章出處:【微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
-
英偉達
+關注
關注
22文章
3747瀏覽量
90834
原文標題:NVIDIA CEO 黃仁勛做客 “Acquired Podcast” ,回憶創業心路歷程
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論