2023年發(fā)布的25個開源大型語言模型總結(jié)
來源：DeepHub IMBA
大型語言模型(llm)是一種人工智能(AI)，在大量文本和代碼數(shù)據(jù)集上進(jìn)行訓(xùn)練。它們可以用于各種任務(wù)，包括生成文本、翻譯語言和編寫不同類型的創(chuàng)意內(nèi)容。
今年開始，人們對開源LLM越來越感興趣。這些模型是在開源許可下發(fā)布的，這意味著任何人都可以使用、修改和分發(fā)它們。這使得研究人員、開發(fā)人員和企業(yè)都可以嘗試LLM，并為它們開發(fā)新的應(yīng)用程序。使用開源llm有很多好處。首先它們通常比專業(yè)的LLM更價便宜。并且它們更加透明，這意味著研究人員可以研究它們是如何工作的以及它們是如何做出決定的。最主要的是它們更加靈活，可以針對不同的任務(wù)進(jìn)行定制。
本文總結(jié)了當(dāng)前可用的開源llm的全部（幾乎全部）列表，以及有關(guān)其許可選項(xiàng)和源代碼存儲庫的信息，希望對你有所幫助。▎SAIL 7B基于LLaMa的搜索增強(qiáng)
參數(shù)：7B
許可類型：GPL-3.0
發(fā)布日期：2023年5月
論文：SAIL — Search Augmented Instruction Learning
▎Guanaco
采用高效微調(diào)方法QLoRA發(fā)布的LLM模型
參數(shù)：65B
許可類型：MIT
發(fā)布日期：2023年5月
論文：QLoRA — Efficient Finetuning of Quantized LLMs
▎RMKV
與transformer的LLM性能相當(dāng)?shù)腞NN模型
參數(shù)：100M–14B
許可類型：Apache 2.0
發(fā)布日期：2023年5月
論文：Scaling RNN to 1.5B and Reach Transformer LM Performance
▎MPT-7B
MosaicML的基礎(chǔ)系列模型
參數(shù)：7B
許可類型：Apache 2.0
發(fā)布日期：2023年5月
論文：MPT-7B — A New Standard for Open-Source, Commercially Usable LLMs
▎OpenLLaMa
在RedPajama數(shù)據(jù)集上訓(xùn)練的Meta AI的LLaMA 7B的另一個開源復(fù)制。
參數(shù)：3,7B
許可類型：Apache 2.0
發(fā)布日期：2023年5月
論文：Meet OpenLLaMA — An Open-Source Reproduction of Meta AI’s LLaMA Large Language Model
▎RedPajama-INCITE
基于RedPajama數(shù)據(jù)集上訓(xùn)練的指令調(diào)整和聊天Pythia模型。
參數(shù)：3B, 7B
許可類型：Apache 2.0
發(fā)布日期：2023年5月
論文：RedPajama-INCITE family of models including base, instruction-tuned & chat models
▎h2oGPT
H2O的微調(diào)框架和文檔問答功能的聊天機(jī)器人UI
參數(shù)：12B,30B
許可類型：Apache 2.0
發(fā)布日期：2023年5月
論文：Building the World’s Best Open-Source Large Language Model：H2O.ai’s Journey
▎FastChat-T5
通過微調(diào)Flan-t5-xl對從ShareGPT收集的用戶共享對話進(jìn)行訓(xùn)練的聊天機(jī)器人
參數(shù)：3B
許可類型：Apache 2.0
發(fā)布日期：2023年4月
論文：FastChat-T5 — our compact and commercial-friendly chatbot!
▎GPT4All
用于訓(xùn)練和部署強(qiáng)大的定制llm的完整工具系統(tǒng)
參數(shù)：7–13B
許可類型：MIT
發(fā)布日期：2023年4月
論文：GPT4All：An ecosystem of open-source on-edge large language models.
▎MiniGPT-4
基于BLIP-2和Vicuna LLM的Visual LLM模型
參數(shù)：13B
許可類型：BSD-3-Clause
發(fā)布日期：2023年4月
論文：MiniGPT-4 — Enhancing Vision-Language Understanding withAdvanced Large Language Models
▎StableLM
StableLM的LLM模型系列
參數(shù)：7B
許可類型：CC BY-NC-SA-4.0
發(fā)布日期：2023年4月
論文：Stability AI Launches the First of its StableLM Suite of Language Models
▎BloomZ
通過多任務(wù)微調(diào)實(shí)現(xiàn)跨語言泛化
參數(shù)：176B
許可類型：Apache 2.0
發(fā)布日期：2023年4月
論文：Cross-lingual Generalization through Multitask Finetuning
▎Dolly
Pythia 12B LLM在Databricks ML平臺上訓(xùn)練的模型
參數(shù)：12B
許可類型：Apache 2.0
發(fā)布日期：2023年4月
論文：Free Dolly — Introducing the World’s First Truly Open Instruction-Tuned LLM
▎Baize Chatbot
基于LLaMa的開源聊天模型
參數(shù)：30B
許可類型：GPL-3.0 license
發(fā)布日期：2023年4月
論文：Baize — An Open-Source Chat Model with Parameter-Efficient Tuning on Self-Chat Data
▎ColossalChat
由ColossalAI開源發(fā)布的一個完整的RLHF流程訓(xùn)練的模型
參數(shù)：N/A
許可類型：Apache 2.0
發(fā)布日期：2023年4月
論文：ColossalChat — An Open-Source Solution for Cloning ChatGPT With a Complete RLHF Pipeline
▎Lit LLaMa
來自Lightning AI的LLaMA的開源實(shí)現(xiàn)
參數(shù)：13B
許可類型：Apache 2.0
發(fā)布日期：2023年4月
論文：Why We’re Building Lit-LLaMA
▎Cerebras-GPT
開放的，計算效率高的，大型語言模型
參數(shù)：111M-13B
許可類型：Apache 2.0
發(fā)布日期：2023年3月
論文：Cerebras-GPT — Open Compute-Optimal Language ModelsTrained on the Cerebras Wafer-Scale Cluster
▎Open Flamingo
Deepmind的Flamingo模型的開源實(shí)現(xiàn)
參數(shù)：9B
許可類型：MIT License
發(fā)布日期：2023年3月
論文：Openflamingo — An Open-source Framework For Training Vision-language Models With In-context Learning
▎Chat GLM
使用開放式雙語(中英文)雙向密集預(yù)訓(xùn)練模型
參數(shù)：6B-130B
許可類型：Apache 2.0
發(fā)布日期：2023年3月
論文：GLM-130B：An Open Bilingual Pre-trained Model
▎DLite
通過微調(diào)Alpaca數(shù)據(jù)集上最小的GPT-2模型
參數(shù)：124M
許可類型：Apache 2.0
發(fā)布日期：2023年3月
論文：Introducing DLite, a Lightweight ChatGPT-Like Model Based on Dolly
▎Alpaca 7B
描述：斯坦福大學(xué)發(fā)布的指令遵循LLaMA模型
參數(shù)：7B
許可類型：Apache 2.0
發(fā)布日期：2023年3月
論文：Alpaca — A Strong, Replicable Instruction-Following Model
▎Flan UL2
在預(yù)訓(xùn)練的UL2檢查點(diǎn)上訓(xùn)練Flan 20B模型。
參數(shù)：20B
許可類型：MIT License
發(fā)布日期：2023年3月
論文：A New Open Source Flan 20B with UL2
▎Flan-T5
T5在各種數(shù)據(jù)集上的指令微調(diào)，提高預(yù)訓(xùn)練語言模型的可用性
參數(shù)：60M–11B
許可類型：Apache 2.0
發(fā)布日期：2023年2月
論文：Scaling Instruction-Finetuned Language Models
總結(jié)最后再補(bǔ)充2個剛剛發(fā)布的模型，一個是llama-2，這個我們文章也在前幾天介紹了微調(diào)和使用的方法。另外一個就是昨天剛看到的新聞，stabilityai發(fā)布的 FreeWilly2，它是在 Llama2 70B 上微調(diào)的結(jié)果，目前在open_llm_leaderboard上排第一。開源大型語言模型正在迅速發(fā)展，開源社區(qū)發(fā)布了許多模型。這些模型為開發(fā)人員、研究人員和愛好者提供了一個非常大機(jī)會，可以在沒有專有系統(tǒng)的情況下試驗(yàn)尖端的語言技術(shù)。隨著越來越多的組織和個人為這些模型的發(fā)展做出貢獻(xiàn)，我們可以期待看到更強(qiáng)大、更容易使用和更創(chuàng)新的語言模型，它們將塑造自然語言處理的未來。作者：Manikanth
END
歡迎加入Imagination GPU與人工智能交流2群
（添加請備注公司名和職稱）
推薦閱讀 對話Imagination中國區(qū)董事長：以GPU為支點(diǎn)加強(qiáng)軟硬件協(xié)同，助力數(shù)字化轉(zhuǎn)型 下載白皮書 | 通過Photon架構(gòu)創(chuàng)建身臨其境的圖形體驗(yàn)
Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！
原文標(biāo)題：2023年發(fā)布的25個開源大型語言模型總結(jié)
文章出處：【微信公眾號：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
imagination
+關(guān)注
關(guān)注
1文章
570瀏覽量
61280
原文標(biāo)題：2023年發(fā)布的25個開源大型語言模型總結(jié)
文章出處：【微信號：Imgtec，微信公眾號：Imagination Tech】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
谷歌計劃12月發(fā)布Gemini 2.0模型
近日，有消息稱谷歌計劃在12月發(fā)布其下一代人工智能模型——Gemini 2.0。這一消息引發(fā)了業(yè)界的廣泛關(guān)注，因?yàn)楣雀柙谌斯ぶ悄茴I(lǐng)域一直保持著領(lǐng)先地位，而Gemini系列模型更是其重要的產(chǎn)品之一。
搭建開源大語言模型服務(wù)的方法
本文我們將總結(jié)5種搭建開源大語言模型服務(wù)的方法，每種都附帶詳細(xì)的操作步驟，以及各自的優(yōu)缺點(diǎn)。
2024 年 19 種最佳大型語言模型
大型語言模型是2023年生成式人工智能熱潮背后的推動力。然而，它們已經(jīng)存在了一段時間了。LLM是黑盒AI系統(tǒng)，它使用深度學(xué)習(xí)對超大數(shù)據(jù)集進(jìn)行
基于CPU的大型語言模型推理實(shí)驗(yàn)
隨著計算和數(shù)據(jù)處理變得越來越分散和復(fù)雜，AI 的重點(diǎn)正在從初始訓(xùn)練轉(zhuǎn)向更高效的AI 推理。Meta 的 Llama3 是功能強(qiáng)大的公開可用的大型語言模型 （LLM）。本次測試采用開源
英偉達(dá)開源Nemotron-4 340B系列模型，助力大型語言模型訓(xùn)練
近日，英偉達(dá)宣布開源了一款名為Nemotron-4 340B的大型模型，這一壯舉為開發(fā)者們打開了通往高性能大型語言模型（LLM）訓(xùn)練的新天地
了解大型語言模型 (LLM) 領(lǐng)域中的25個關(guān)鍵術(shù)語
1.LLM（大語言模型）大型語言模型(LLMs)是先進(jìn)的人工智能系統(tǒng)，經(jīng)過大量文本數(shù)據(jù)集的訓(xùn)練，可以理解和生成類似人類的文本。他們使用深度學(xué)
谷歌發(fā)布輕量級開源人工智能模型Gemma
谷歌近日宣布推出開源人工智能（AI）模型系列Gemma，旨在為開發(fā)人員和研究人員提供一個負(fù)責(zé)任的AI構(gòu)建平臺。這一舉措標(biāo)志著自2022年OpenAI的ChatGPT引領(lǐng)AI聊天機(jī)器人熱
谷歌大型模型終于開放源代碼，遲到但重要的開源戰(zhàn)略
在人工智能領(lǐng)域，谷歌可以算是開源的鼻祖。今天幾乎所有的大語言模型，都基于谷歌在 2017 年發(fā)布的 Transformer 論文；谷歌的
發(fā)表于 02-22 18:14
?414次閱讀
大模型開源開放評測體系司南正式發(fā)布
近日，大模型開源開放評測體系司南（OpenCompass2.0）正式發(fā)布，旨在為大語言模型、多模態(tài)模型
Meta發(fā)布CodeLlama70B開源大模型
Meta發(fā)布CodeLlama70B開源大模型 Meta發(fā)布了開源大模型CodeLlama70B
機(jī)器人基于開源的多模態(tài)語言視覺大模型
ByteDance Research 基于開源的多模態(tài)語言視覺大模型 OpenFlamingo 開發(fā)了開源、易用的 RoboFlamingo 機(jī)器人操作
發(fā)表于 01-19 11:43
?365次閱讀
OpenHarmony社區(qū)運(yùn)營報告（2023年12月）
貢獻(xiàn)者，70 家共建單位，產(chǎn)生 26.9 萬多個 PR，2.4 萬多個 Star，6.7 萬多個 Fork，59 個 SIG。
2、合作社區(qū)官方賬號發(fā)布內(nèi)容數(shù)據(jù)匯總
截至 2023 年
發(fā)表于 01-10 15:44
大語言模型推斷中的批處理效應(yīng)
隨著開源預(yù)訓(xùn)練大型語言模型（Large Language Model, LLM ）變得更加強(qiáng)大和開放，越來越多的開發(fā)者將大語言
Spectrum 2023年熱門故事: AI啟示錄、ChatGPT幻覺、英偉達(dá)的成功等
ChatGPT的強(qiáng)大功能時，該公司又于2023年3月發(fā)布了最新的大型語言模型GPT-4（
2023年科技圈熱詞“大語言模型”，與自然語言處理有何關(guān)系
。 ? 2023年，大語言模型及其在人工智能領(lǐng)域的應(yīng)用已然成為全球科技研究的熱點(diǎn)，其在規(guī)模上的增長尤為引人注目，參數(shù)量已從最初的十幾億躍升到如今的一萬億。參數(shù)量的提升使得
工商網(wǎng)監(jiān)
評論