為推動大模型在產業落地和技術創新，智源研究院發布“開源商用許可語言大模型系列+開放評測平臺” 2 大重磅成果，打造“大模型進化流水線”，持續迭代、持續開源開放。

01

悟道·天鷹（Aquila）

開源商用許可語言大模型系列

悟道·天鷹（Aquila） 語言大模型是首個具備中英雙語知識、支持商用許可協議、國內數據合規需求的開源語言大模型。

悟道·天鷹（Aquila）語言大模型在中英文高質量語料基礎上從 0 開始訓練，通過數據質量的控制、多種訓練的優化方法，實現在更小的數據集、更短的訓練時間，獲得比其它開源模型更優的性能。系列模型包括 Aquila基礎模型（7B、33B），AquilaChat對話模型（7B、33B）以及 AquilaCode-7B “文本-代碼”生成模型，

后續將持續更新迭代并開源更新版本。

開源地址：https://github.com/FlagAI-Open/FlagAI/tree/master/examples/Aquila

Aquila基礎模型（7B、33B）

在技術上繼承了 GPT-3、LLaMA 等的架構設計優點，替換了一批更高效的底層算子實現、重新設計實現了中英雙語的 tokenizer，升級了 BMTrain 并行訓練方法，實現了比 Magtron+DeepSpeed ZeRO-2

將近８倍的訓練效率

。

AquilaChat 對話模型（7B、33B）

支持流暢的文本對話及多種語言類生成任務，通過定義可擴展的特殊指令規范，實現 AquilaChat對其它模型和工具的調用，且易于擴展。例如，調用智源開源的 AltDiffusion 多語言文圖生成模型，實現了流暢的文圖生成能力。配合智源 InstructFace 多步可控文生圖模型，輕松實現對人臉圖像的多步可控編輯。

AquilaChat 訓練過程中，實現了模型能力與指令微調數據的循環迭代，包括數據集的高效篩選與優化，充分挖掘基礎模型的潛力。

AquilaChat 支持可擴展的特殊指令規范，令用戶可在AquilaChat中輕松實現多任務、工具的嵌入，如文圖生成，下圖示例為在對話中調用智源開源的多語言文圖生成模型 AltDiffusion。

AquilaChat 具備強大的指令分解能力，配合智源InstructFace多步可控文生圖模型，輕松實現對圖片的多步可控編輯。

AquilaCode-7B “文本-代碼”生成模型，

基于 Aquila-7B 強大的基礎模型能力，以小數據集、小參數量，實現高性能，是目前支持中英雙語的、性能最好的開源代碼模型，經過了高質量過濾、使用有合規開源許可的訓練代碼數據進行訓練。

此外，AquilaCode-7B 分別在英偉達和***上完成了代碼模型的訓練，并通過對多種架構的代碼+模型開源，推動芯片創新和百花齊放。

02

天秤（FlagEval）

大模型評測體系及開放平臺

天秤（FlagEval）大模型評測體系及開放平臺，旨在建立科學、公正、開放的評測基準、方法、工具集，協助研究人員全方位評估基礎模型及訓練算法的性能，同時探索利用AI方法實現對主觀評測的輔助，大幅提升評測的效率和客觀性。

目前已推出語言大模型評測、多國語言文圖大模型評測及文圖生成評測等工具，并對各種語言基礎模型、跨模態基礎模型實現評測。后續將全面覆蓋基礎模型、預訓練算法、微調算法等三大評測對象，包括自然語言處理（NLP）、計算機視覺（CV）、語音（Audio）及多模態（Multimodal）等四大評測場景和豐富的下游任務。

首期推出的 FlagEval 大語言模型評測體系，創新構建了“能力-任務-指標”三維評測框架，細粒度刻畫基礎模型的認知能力邊界，可視化呈現評測結果，總計 600+ 評測維度，任務維度包括 22 個主觀&客觀評測數據集。除了知名的公開數據集 HellaSwag、MMLU、C-Eval等，FlagEval 還集成了包括智源自建的主觀評測數據集 Chinese Linguistics & Cognition Challenge (CLCC) ，北京大學與閩江學院共建的語義關系判斷、多義詞理解、修辭手法判斷評測數據集。更多維度的評測數據集也在陸續集成中。

FlagEval 評測榜單目前涵蓋了前面談到的22 個主觀和客觀評測集，84433 道題目，細粒度刻畫大模型的認知能力。基于“悟道 · 天鷹”Aquila 基礎模型（7B）打造的 AquilaChat 對話模型，在 FlagEval 大語言模型評測榜單上，目前暫時在“主觀+客觀”的評測上領先其他同參數量級別的開源對話模型。

在我們當前的最新評測結果中，AquilaChat 以大約相當于其他模型 50% 的訓練數據量（SFT 數據+預訓練數據分別統計）達到了最優性能。

但由于當前的英文數據僅訓練了相當于Alpaca的40%，所以在英文的客觀評測上還暫時落后于基于 LLaMA 進行指令微調的Alpaca。隨著后續訓練的進行，我們相信很快可以超越。

悟道·天鷹（Aquila）模型還在迭代進步的過程中，天秤（FlagEval）評測能力也在不斷的擴充中，因而此評測結果只是暫時的，新的評測結果還會不斷更新。此外，FlagEval的評測體系方法及相關研究還需要繼續深入，當前對模型能力的覆蓋程度仍有很大的進步空間，智源也期待與多方合作，共同打造全面、科學的評測方法體系。

天秤（FlagEval）開放評測平臺現已開放申請（flageval.baai.ac.cn），打造自動化評測與自適應評測機制，可輔助模型研發團隊利用評測結果指導模型訓練，同時支持英偉達、昇騰（鵬城云腦）、寒武紀、昆侖芯等多種芯片架構及 PyTorch、MindSpore 等多種深度學習框架。

作為“科技創新2030”旗艦項目重要課題，天秤（FlagEval）正與北京大學、北京航空航天大學、北京師范大學、北京郵電大學、閩江學院、南開大學、中國電子技術標準化研究院、中國科學院自動化研究所等合作單位共建（按首字母排序），定期發布權威評測榜單。

總的來說，智源此次發布的 2 大重磅成果僅僅是一個新的起點：

一方面，悟道 · 天鷹 Aquila 語言大模型將不斷完善訓練數據、優化訓練方法、提升模型性能，在更優秀的基礎模型基座上，培育枝繁葉茂的“模型樹”，持續開源開放。

另一方面，天秤 FlagEval 大模型評測體系及開放平臺將繼續拓展“大模型認知能力”框架，集成豐富的數據集與評測指標，并探索與心理學、教育學、倫理學等社會學科的交叉研究，以期更加科學、全面地評價語言大模型。

「模型 + 評測」雙輪驅動，

加速大模型技術創新與產業落地。歡迎學界、產業界同仁提供建議。

審核編輯黃宇