來源|融中財經

（ID：thecapital）

---

從 2022 年下半年開始，隨著深度學習的發展，以 Diffusion、ChatGPT 為代表的顛覆性 AI 應用破圈，標志著人工智能領域的重大突破，引發全球共振。不少人將 ChatGPT 的問世比喻為“蒸汽機”，人工智能就此走向“工業時代”。

上海人工智能產業投資基金作為上海市級產業投資基金，根據建設人工智能“上海高地”的戰略部署，始終密切跟蹤技術帶來的 AI 產業鏈技術及商業模式變遷。下面是近期我們對 AI 技術及產業發展趨勢的思考：核心觀點： ■ ChatGPT 展現了極強的語義理解、多輪溝通對話、推理演繹能力，代表了人工智能研究范式的改變。以 Transformer 為基礎的軟硬件標準化趨勢的確立讓我們有理由相信且為之振奮：我們正站在在 AI 工業化革命爆發的拐點——與其說 ChatGPT 證明了某一條 AI 研究路線的成功，倒不如說它更大的意義是證明了 AI 這些年不斷收斂但依然存在多種選擇的各類路線里，最終真的是會走出一條路：AI 工業技術革命終將到來。 ■大語言模型使用自然語言交互，顛覆了原有的人機交互方式。從鍵盤鼠標、觸摸屏、語音，人機交互方式的改變重塑了信息產業的形態。人工智能驅動的自然語言交換不僅加速虛擬世界的建立，帶來了生產力的革命，也會重塑生產關系，現實世界的下游應用都有望被重構。 ■伴隨參數規模增速的不斷提升，算力和訓練成本仍存在瓶頸，大模型的性能天花板遠未到來，甚至算法需要根據硬件優化，包括芯片級優化、數據中心架構優化、機器學習分布式框架在內的軟硬件聯合調優等算力創新將成為破局關鍵，轉動起 AI 算力 -AI 應用的產業飛輪。

■大模型參數是社會底層知識、學習資料的承載，具有極高的社會、經濟和文化價值。考慮到全球政策環境、企業私有化部署的需求、數據跨境的合規風險等因素，中國獨立自主大模型構建的迫切性呼之欲出。道阻且長，行之將至。如何利用好AI工程化這一構建大模型的核心能力，以及利用中國的規模效應使大模型迅速普及并改進閉環，是破局的機會。

01 拐點將至：大模型研發范式的改變標志著 AI 真正走向了工業化生產道路ChatGPT如何能力出眾？

相比于之前的 Chatbot，我們可以看到一個驚人的 ChatGPT：極好的理解和把握用戶意圖，具有出良好的多輪溝通對話、記憶、歸納和演繹能力，會甄別高水準答案，知道如何一步一步解決用戶問題，有邏輯和條理的輸出回答結果。

ChatGPT背后的技術突圍和能力養成？

任何 AI 技術都不是空中樓閣。在驚嘆以 ChatGPT、Diffusion 為代表的 AIGC 所展現的驚人能力的同時，我們看到的是一次深度學習算法、算力提升、數據積累三浪疊加后的“大力 出奇跡”，以及背后長達幾十年的醞釀。

大語言模型 (LLM) 標志著 AI 研究范式的改變：拉長 NLP 技術發展時間周期，早期階段 (2013年左右) 的 NLP 任務采用傳統的“特征提取+機器學習”進行研究，第二階段轉變為“預訓練模型+fine tune”范式，均致力于“大練模型”，即根據下游任務調整預訓練模型，幫助機器理解人的意圖。而在以 ChatGPT 為代表的 GPT3.0 “預訓練模型+Prompt”范式中，通過“練大模型”大幅減小預訓練的任務和下游任務之間的統計分布差距，讓計算機適配人的習慣命令表達方式，提高整體任務的通用性和用戶體驗，從而使通用底座模型成為可能。模型規模激發能力突變：研究表明，大模型許多能力上的驚人突破，并非一個線性的過程，而是在模型尺寸達到一個量級時發生突然的“進化”(Scaling Law 即規模定律)。當 LLM 的參數量達到一定量時(比如 100 億)，模型的能力將發生突變。GPT 3.0 模型下 1750 億參數量“涌現”出的強大智能表現，驗證 ScalingLaw 生效，由此獲得了存在于大模型而非小模型的涌現能力。更深度的人類活動信息變成可用數據，進一步激發模型-數據的飛輪效應。從神經網絡角度看，人腦有約 100 萬億神經元。GPT-3 有 1750 億參數，預計 OpenAI的 GPT-4 模型參數量將變得更大，但距離人腦的 100 萬億神經元尚遠。隨著算力的進步，參數規模提升能否帶來新的特性值得期待，我們相信大語言 模型的新能力會隨著參數和模型規模的激增而進一步解鎖。

標準化趨勢正在加速：

在算法層面。大模型的核心 Transformer 有統一算法的趨勢，圖像、自然語言理解、多模態的主要技術路線基本都基于 Transformer 實現。算法的收斂某種程度上使得硬件收斂成為可能，而 Transformer 加速引擎成為算力必選項。雖然目前算法、軟件、硬件尚未實現完全標準化，但我們可以清楚的看到 LLM 標準化進程正在加速，逐漸顯現出“通用目的技術”的三個特性即普遍適用性、動態演進性和創新互補性，有望成為驅動工業革命的增長的引擎。 02

革故立新：人機交互方式的改變引發生產力的工業化變革，產業鏈將被重構

回顧科技進步和產業變革的歷史可以發現，歷次科技革命和工業革命都帶來了改變人類生產生活的技術、產品和服務。科技革命標志性的科學成就以及工業革命的主導技術往往具有顛覆性特征，無一不對解放生產力、推動人類文明演進產生了深遠影響。

大語言模型所推動的本質變革在于改變了人機交互方式。自然語言成為了人機交互媒介，計算機可以理解人類自然語言，而不再依賴固定代碼、特定模型等中間層。以手機、平板等為載體的人機交互方式可能在元宇宙場景下以更自然的方式展現，移動互聯網時代的人工智能應用可能被重塑。

交互方式的改變將引發各行各業的生產力革命：用以嫁接計算機與人類的軟件“中間層”將不復存在，產品形態發生變化，軟件可以迅速支持自然語言接口，而不必開發和調用 API 接口。勞動對象、生產關系隨之變化，AI 軟件開發的門檻降低，用戶群擴大，企業內部研發和產品的界限將日益模糊；產品根據用戶反饋進行直接調整，產業鏈進一步縮短，生產效率提高。新的需求、職業、市場空間、商業模式呼之欲出，數據-模型疊加的產業飛輪將徹底改變很多傳統行業和產業格局。規模工業化生產的格局有望體現：生產方式從“農耕時代”走向“工業時代”，AI 產業生態將從過去每個垂直應用領域做各自模型，變成通過大模型做應用，通用性更強。AI 產業鏈將呈現底層基礎設施(芯片/云服務商) - 大模型 - Prompt Engineering Platform - 終端應用的水平化分工。我們大膽推測，由于預訓練模型需要耗費大量的成本和技術投入，因此類似臺積電之于英偉達，大模型/AI 平臺的入門門檻高，一般參與的對象還是以大規模的互聯網公司和行業巨頭為主，未來可能只有 1-2 家公司是做 大模型底層基礎設施。原本期望通過做垂直化、場景化、個性化模型和應用工具擴張成平臺型企業的中間層企業們的競爭可能日益激烈；理解行業痛點并在大模型基礎上快速抽取生成場景化、定制化、個性化的小模型，從而實現不同行業和領域的工業流水線式 部署的公司才能生存。靠近商業的應用型公司，依托 AI 將落地場景中的真實數據發揮更大價值。這某種程度上體現了規模工業化生產的特質，即產業分工，標準化和規模化。所有的下游應用都有望被重構：隨著基礎模型與工具層的崛起，構建應用的成本和難度將大幅降低。對于應用開發者來說，所有的下游應用值得被重構。傳統企業(+AI)將享受低成本構建應用模型的便利，利用場景和行業 know-how 優勢更快地擁抱數字化轉型，大幅提升效率和體驗；創業公司(AI+)聚焦高價值場景，顛覆現有業務，在自己擅長的方向上去做突圍，比大廠先一步做出數據飛輪，形成壁壘。 03

超越摩爾定律：算力瓶頸下的軟硬件聯合調優成為破局關鍵

新工業革命的主導技術和產業不再呈現單一性特征，很有可能演變為由多個交叉技術組成的技術簇群，不斷同步、掣肘、疊加和“糾纏”。回看人工智能產業的發展歷史，每一波大發展都是與算力提升和數據爆發相結合。軟件與算力供需的失衡、能力的追趕不斷催生創新技術需求，一旦關鍵技術迎來突破，將會帶動整個產業群的發展。

受制于摩爾定律，AI 訓練成本高企，當前硬件算力的成本和供給遠無法滿足日益增長的內存和計算需求。

不僅僅是語言大模型參數規模呈指數增長。LLM 將更大范圍更深度的人類活動信息直接轉化為可用數據，引發全球數據量激增。根據 Google 統計，DNN 的內存和計算需求每年約增長 1.5 倍(2016-2020 內存增長 0.97-2.16，算力增長 1.26- 2.16)；而算力供給卻達不到。從 2016 至 2023 年，英偉達 GPU 單位美元的算力增長 7.5 倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$)，GPU 算力提升約 69 倍(P100 22T FLOPS 到 H100 1513T FLOPS)，GPU 效率提升約 59 倍(P100 73.3 TFLOPS/kw 到 H100 4322 TFLOPS/kw)。

雖然 GPU 在各種效率有明顯提升，長期來看，算力需求每年約增長 1.5 倍存在一定的不可持續性，我們預計在最好情況下英偉達 GPU的算力供給每年增長 1 倍，按一般技術滲透規律，算力層面還需要一定程度的優化，否則很難和應用形成較好的正反饋效應，從而提升行業的滲透率。如何在 AI 算力上實現技術突破、降低成本、擴大規模，提升 AI 訓練的邊際效益，將成為技術創新的焦點。

催生的算力創新需求包括：

芯片級優化。

過去十年里芯片性能的提升，超過 60% 直接或間接受益于半導體工藝的提升，而只有17%來自于芯片架構的升級；而摩爾定律放緩，每 100m 柵極的成本將持續增加(比如從 28nm 的 1.3 美元提升到 7nm 的 1.52 美元)，主要由制造這些芯片的復雜性增加所驅動——即制造步驟的增加，遠遠達不到經濟效益。同時，制造難度增加，也將增加良率帶來的損失，需要通過將大芯片分成更小的 Chiplet 提高產量/良率，降低制造成本。

數據中心架構優化。

據英偉達估計，到 2030 年數據中心能耗占全社會能耗 3-13%，而數據中心架構也在演進中，從原先的 CPU 作為單一算力來源，引入軟件架構定義，再到增加 GPU、DPU，GPU、DPU 的引入使得數據中心三種計算芯片分工明確，從而提升整個數據中心的效率。

機器學習分布式框架。

大模型大算力一定需要多機多卡訓練，以 ChatGPT 為例，訓練一次需要 3.14×E23 FLOPS 算力。但從訓練到推理的過程，模型參數數量不變，分布式框架加速優化的幫助顯著。以英偉達 A100為例，A100早期訓練效率只有 20%，經過分布式框架的優化，效率可以提升 30%~40%，整體效率提升至 50%~100%。

04

時不我待：中國自主大模型的必然、機會和挑戰

以 OpenAI 、微軟等為代表的發達國家巨頭對科技創新和產業升級新一輪密集投入的效果逐步顯現，科技革命和工業革命下新一輪“技術—經濟范式”變遷也隨之逐漸明朗。科技工業革命必然伴隨理念、知識、制度，甚至社會價值觀和國際話語權的深刻變革，引發新一輪的國際和經濟競爭。ChatGPT 的出現意味著 AI 產業水平化分工的條件基本成熟，世界上并不需要很多個大模型，但大模型參數作為社會底層知識、學習資料的承載，具有極高的社會、經濟和文化價值。基于全球政治環境、代表中國中大型企業私有化部署的需求、數據跨境的合規風險和安全考慮，我們認為，中國一定會有自己的 LLM (大模型)。

將構建中國自主的大模型視為在 AI 領域全方位軍備競賽并不為過。這需要超大規模智算平臺對芯片、系統、網絡、存儲到數據進行全盤系統優化，需要一個能自主掌控更多環節從而實現全局調優的方案。雖然目前我們在算力、高質量數據集、頂尖人才資源、應用生態方面與海外存在較大差距，但以百度、騰訊、阿里為代表的中國科技公司們在這個技術周期里所生長出來云、數據、芯片和復雜系統，已初步擁有了參與這場 ChatGPT 競爭的“入場券”。即使目前各環節依然存在不小的代際差，但我們深信基于多年積累的建模、訓練和調參，加大長期的資本和人才投入，深度融合的數據和場景，底層訓練數據，我們自主獨立的大模型依然存在商業閉環的機會。

如何追趕？核心能力在于工程化能力和應用規模。作為系統工程，AI 需要依靠龐大的團隊支撐。類比搜索引擎公司，搜索引擎壁壘不在于算法本身，而在于工程化的需求，例如谷歌搜索引擎、頭條推薦，都需要強大的工程能力。OpenAI 的 GPT-1 到 GPT-3 再到現在的 ChatGPT ，模型結構沒有發生任何變化(transformer decoder)，單一產品仍需要幾百名正式員工、上千名標注員打磨三年——AI 工程化恰是中國的機會。同時，中國基本上所有的互聯網公司都是 AI 公司，中國的規模效應，有望讓大模型迅速普及化的改進閉環，成為中國企業迎頭追趕的機會。

人工智能有助于經濟的自動化、智能化，AI 大模型的最終目標是 AGI(通用人工智能)。AI 大模型對人類傳達信息的載體有了更好的學習，在此基礎上各個媒介之間的互通成為可能。當這一目標實現的時候，人類各種經濟活動產生的信息的生產、傳輸、分發、消費可實現編程化，萬物智能成本無限降低，人類的生產力與創造力得到進一步的解放。

相信長期的力量。上海人工智能基金秉持長期主義，助力人工智能從業者們這場系統戰、持久戰中保持定力。上海人工智能產業基金是經上海市政府批準同意，由國盛集團、臨港集團聯合市區兩級財政及市屬大型產業集團共同發起，由上海臨港科創投資管理有限公司擔任基金管理人，旨在貫徹落實世界人工智能大會成果，加快推進上海人工智能高質量發展。基金聚焦人工智能核心技術和關鍵應用，同時關注優秀創業者陪護和生態資源的持續積累，致力于打造人工智能產業發展各類要素聯通的“一站式”平臺，助力建設人工智能“上海高地”，同時為產業升級變革創造長期價值。

ChatGPT 的能力展現為人工智能產業鏈注入了新活力，即使尚處于萌芽期，其展現的創造能力充滿想象空間，有望帶動 AIGC 類應用快速爆發。人工智能技術作為驅動數據經濟的技術底層，有望迎來新的發展機遇，在數字時代賦能人類生產力與創造力進一步解放和革新。上海人工智能基金將持續通過技術引領與場景賦能雙輪驅動，推動人工智能成為驅動新一輪科技革命和產業變革的重要力量。

END

歡迎加入Imagination GPU與人工智能交流2群 入群請加小編微信：eetrend89

（添加請備注公司名和職稱）

推薦閱讀 對話Imagination中國區董事長：以GPU為支點加強軟硬件協同，助力數字化轉型

直播預告|TVM新增算子賽題講解及在Imagination NNA上完成飛槳3D模型部署

Imagination Technologies是一家總部位于英國的公司，致力于研發芯片和軟件知識產權（IP），基于Imagination IP的產品已在全球數十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯網、智能穿戴、通信、汽車電子、圖形圖像開發等前沿技術信息，歡迎關注 Imagination Tech！