精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

OpenAI發(fā)布了一個“逆天”的AI模型——GPT2整個模型包含15億個參數(shù)

電子工程師 ? 來源:lp ? 2019-03-07 14:45 ? 次閱讀

上個月,OpenAI發(fā)布了一個“逆天”的AI模型——GPT2,整個模型包含15億個參數(shù)。你給它一句話,它能給你編出一篇文章來。

OpenAI的研究主管Dario Amodei表示,GPT2是在一個包含大約1000萬篇文章的數(shù)據(jù)集上進行培訓的,比之前最先進的AI模型大12倍,數(shù)據(jù)集大15倍。

有這么厲害?看看他的實力水平不就知道了,OpenAI給出了這么一個開頭:

在一項研究中,科學家們發(fā)現(xiàn)了一群獨角獸,它們生活在安第斯山脈一個偏遠的還沒被開發(fā)山谷中,更令人驚訝的是這些獨角獸會說一口流利的英語

就這么一句話,GPT-2能寫出以下這么一大段故事:

因為它們獨特的角,科學家們將他們命名為Ovid’s Unicorn,這些四角、銀色角的獨角獸是原來科學家所不曾見過的。

......中間還編寫了,這些獨角獸是如何被發(fā)現(xiàn)的,以及業(yè)內(nèi)權(quán)威人士認為這些生物是如何出現(xiàn)的,最后還表明要驗證這群獨角獸是否為外星種族,唯一的方法可能就是通過DNA。

這一本正經(jīng)的胡說八道,說的猿妹我都信以為真

能有這樣出色的表現(xiàn),不是沒有原因的,GPT-2各種特定領(lǐng)域的語言建模任務(wù)中都取得了很好的分數(shù)。作為一個沒有經(jīng)過任何領(lǐng)域數(shù)據(jù)專門訓練的模型,它的表現(xiàn),比那些專為特定領(lǐng)域數(shù)據(jù)集(例如維基百科,新聞,書籍)上訓練的模型。有圖有真相:

除了能用于語言建模,GPT-2在問答、閱讀理解、摘要生成、翻譯等等任務(wù)上也都有非常好的成績,openAI在博客上也給出了示例,感興趣的可以前往查看(地址:https://blog.openai.com/better-language-models/)

除了以上提到的這些優(yōu)異表現(xiàn),最主要的是GPT-2還學習幾種編程語言的語法模型,比如PHP和JavaScript。

它寫出來的JavaScript長這樣:

還有PHP語言:

就連Facebook AI研究院的Tim Rockt?schel看了GPT-2寫出來的代碼都表示:我們要有大麻煩了

話雖如此,該博客下面也有人表示其實,GPT-2寫的代碼不夠嚴謹,容易把js、C++Python等語言混為一談。但實力依然不可小覷

目前,GPT-2已經(jīng)在GitHub上獲得4116個Star,674個Fork(地址:https://github.com/openai/gpt-2),喜歡的人可以嘗試一下

不過,OpenAI 的研究人員們決定不發(fā)布訓練模型的數(shù)據(jù)、也不發(fā)布最大那個模型預(yù)訓練后的參數(shù),因為他們認為如此強力的模型有遭到惡意濫用的風險。最后,你們?nèi)绾慰创@個項目呢?

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    30122

    瀏覽量

    268407
  • 數(shù)據(jù)集
    +關(guān)注

    關(guān)注

    4

    文章

    1205

    瀏覽量

    24641
  • 獨角獸
    +關(guān)注

    關(guān)注

    0

    文章

    181

    瀏覽量

    26527

原文標題:這個開源AI逆天了!編故事問答翻譯樣樣行,最主要的是還會寫代碼

文章出處:【微信號:TheBigData1024,微信公眾號:人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    【飛騰派4G版免費試用】仙女姐姐的嵌入式實驗室之五~LLaMA.cpp及3B“小模型”O(jiān)penBuddy-StableLM-3B

    預(yù)訓練語言模型。該模型最大的特點就是基于以較小的參數(shù)規(guī)模取得了優(yōu)秀的性能,根據(jù)官網(wǎng)提供的信息,LLaMA的模型包含4
    發(fā)表于 12-22 10:18

    迄今最大模型?OpenAI發(fā)布參數(shù)量高達15的通用語言模型GPT-2

    史上最強“通用”NLP模型來襲:今天OpenAI在官博介紹他們訓練的大規(guī)模無監(jiān)督NLP模型
    的頭像 發(fā)表于 02-16 08:43 ?4068次閱讀

    OpenAI發(fā)布款令人印象深刻的語言模型GPT-2

    今年2月,OpenAI發(fā)布款令人印象深刻的語言模型GPT
    的頭像 發(fā)表于 05-17 18:48 ?4447次閱讀

    OpenAI宣布,發(fā)布7.74參數(shù)GPT-2語言模型

    就在本周,OpenAI宣布,發(fā)布7.74參數(shù)GPT-2語言
    的頭像 發(fā)表于 09-01 09:10 ?2972次閱讀

    谷歌訓練開發(fā)萬億參數(shù)AI語言模型

    參數(shù)是機器學習算法的關(guān)鍵。它們是從歷史訓練數(shù)據(jù)中學到的模型部分。般來說,在語言領(lǐng)域,參數(shù)的數(shù)量和復雜性之間的相關(guān)性非常好。例如,
    的頭像 發(fā)表于 01-18 16:19 ?1808次閱讀

    谷歌推出1.6萬億參數(shù)的人工智能語言模型,打破GPT-3記錄

    ? 古諺道:“熟讀唐詩三百首,不會作詩也會吟。” 這句話放在目前的人工智能語言模型中也非常適用。 此前,OpenAI 的研究人員開發(fā)出 “GPT-3”,這是
    的頭像 發(fā)表于 01-18 17:16 ?2296次閱讀

    谷歌開發(fā)出新的語言模型包含了超過1.6萬億參數(shù)

    AI模型GPT-3。GPT-3就是在570 GB的文本數(shù)據(jù)上訓練的語言模型,因此,就訓練數(shù)據(jù)和生成能力而言,
    的頭像 發(fā)表于 01-19 15:29 ?1873次閱讀

    GPU訓練130參數(shù)模型

    現(xiàn)在的模型動輒數(shù)百、數(shù)千億參數(shù),普通人訓不動怎么辦? 前不久,谷歌發(fā)布參數(shù)量為 1.6 萬億的語言模型
    的頭像 發(fā)表于 02-11 09:04 ?2409次閱讀
    <b class='flag-5'>一</b><b class='flag-5'>個</b>GPU訓練<b class='flag-5'>一</b><b class='flag-5'>個</b>130<b class='flag-5'>億</b><b class='flag-5'>參數(shù)</b>的<b class='flag-5'>模型</b>

    浪潮、英偉達微軟相繼發(fā)布2500、5300參數(shù)的巨量模型,超過GPT-3

    Turing-NLG相繼出現(xiàn)。 ? 2020年6月OpenAI發(fā)布GPT-3,這是當時訓練的最大模型,具有1750
    的頭像 發(fā)表于 10-18 14:41 ?3501次閱讀
    浪潮、英偉達微軟相繼<b class='flag-5'>發(fā)布</b>2500<b class='flag-5'>億</b>、5300<b class='flag-5'>億</b><b class='flag-5'>參數(shù)</b>的巨量<b class='flag-5'>模型</b>,超過<b class='flag-5'>GPT</b>-3

    ChatGPT升級 OpenAI史上最強大模型GPT-4發(fā)布

    ChatGPT升級 史上最強大模型GPT-4發(fā)布 OpenAI正式推出了ChatGPT升級版本,號稱史上最強大模型
    的頭像 發(fā)表于 03-15 18:15 ?2772次閱讀

    State of GPT:大神Andrej揭秘OpenAI模型原理和訓練過程

    你可以看到,Llama 的參數(shù)數(shù)量大概是 650 ?,F(xiàn)在,盡管與 GPT3 的 1750 參數(shù)
    的頭像 發(fā)表于 05-30 14:34 ?1028次閱讀
    State of <b class='flag-5'>GPT</b>:大神Andrej揭秘<b class='flag-5'>OpenAI</b>大<b class='flag-5'>模型</b>原理和訓練過程

    DeepSpeed結(jié)合Megatron-LM訓練GPT2模型筆記

    本文基于DeepSpeedExamples倉庫中給出的Megatron相關(guān)例子探索下訓練GPT2模型的流程。主要包含3部分,第
    的頭像 發(fā)表于 06-19 14:45 ?3394次閱讀
    DeepSpeed結(jié)合Megatron-LM訓練<b class='flag-5'>GPT2</b><b class='flag-5'>模型</b>筆記

    ChatGPT重磅更新 OpenAI發(fā)布GPT-4 Turbo模型價格大降2/3

    ChatGPT重磅更新 OpenAI發(fā)布GPT-4 Turbo模型價格大降2/3 目前OpenAI
    的頭像 發(fā)表于 11-07 18:20 ?2768次閱讀
    ChatGPT重磅更新 <b class='flag-5'>OpenAI</b><b class='flag-5'>發(fā)布</b><b class='flag-5'>GPT</b>-4 Turbo<b class='flag-5'>模型</b>價格大降<b class='flag-5'>2</b>/3

    聯(lián)發(fā)科璣9300最高可運行330參數(shù)AI模型

    聯(lián)發(fā)科璣9300最高可運行330參數(shù)AI模型 聯(lián)發(fā)科這個是要把AI
    的頭像 發(fā)表于 11-07 19:00 ?1706次閱讀

    人手AI是如何誕生的?

    2023年是AI大語言模型爆發(fā)的年,以OpenAI推出的GPT模型為起始,
    的頭像 發(fā)表于 07-23 10:33 ?185次閱讀