AI模型是如何訓(xùn)練的？訓(xùn)練一個(gè)模型花費(fèi)多大？
電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）在深度學(xué)習(xí)中，經(jīng)常聽(tīng)到一個(gè)詞“模型訓(xùn)練”，但是模型是什么？又是怎么訓(xùn)練的？在人工智能中，面對(duì)大量的數(shù)據(jù)，要在雜亂無(wú)章的內(nèi)容中，準(zhǔn)確、容易地識(shí)別，輸出需要的圖像/語(yǔ)音，并不容易。因此算法顯得尤為重要。算法也就是模型。
算法的內(nèi)容，除了核心識(shí)別引擎，也包括各種配置參數(shù)，如：語(yǔ)音智能識(shí)別的比特率、采樣率、音色、音調(diào)、音高、音頻、抑揚(yáng)頓挫、方言、噪音等。成熟的識(shí)別引擎，核心內(nèi)容一般不會(huì)經(jīng)常變化。為實(shí)現(xiàn)“識(shí)別成功”這一目標(biāo)，就只能對(duì)配置參數(shù)做調(diào)整。
對(duì)不同輸入，我們會(huì)配置不同參數(shù)值，最后在結(jié)果統(tǒng)計(jì)取一個(gè)各方比較均衡、識(shí)別率較高的一組參數(shù)值，這組參數(shù)值，就是訓(xùn)練后得到的結(jié)果，這就是訓(xùn)練的過(guò)程，也叫模型訓(xùn)練。
如何訓(xùn)練一個(gè)AI模型？
訓(xùn)練模型需要用到AI框架，比如MindSpore。具體如何訓(xùn)練一個(gè)AI模型呢？昇思MindSpore此前發(fā)布一個(gè)詳細(xì)的案例，訓(xùn)練的模型是用來(lái)對(duì)手寫數(shù)字圖片進(jìn)行分類的LeNet5模型。MindSpore是華為推出全場(chǎng)景AI計(jì)算框架，2020年3月28日宣布MindSpore正式開(kāi)源。 首先是安裝MindSpore，MindSpore提供給用戶使用的是Python接口。安裝的時(shí)候，選擇合適的版本、硬件平臺(tái)、操作系統(tǒng)、編程語(yǔ)言、安裝方式。其次是定義模型，安裝好之后，就可以導(dǎo)入MindSpore提供的算子（卷積、全連接、池化等函數(shù)）來(lái)構(gòu)建模型了。構(gòu)建一個(gè)AI模型就像建一個(gè)房子，MindSpore提供的算子就像是磚塊、窗戶、地板等基本組件。 接下來(lái)是導(dǎo)入訓(xùn)練數(shù)據(jù)集，什么是訓(xùn)練數(shù)據(jù)集呢，剛剛定義好的模型是不能對(duì)圖片進(jìn)行正確分類的，要通過(guò)訓(xùn)練過(guò)程來(lái)調(diào)整模型的參數(shù)矩陣的值。訓(xùn)練過(guò)程就需要用到訓(xùn)練樣本，也就是打上了正確標(biāo)簽的圖片。這就好比教小孩兒認(rèn)識(shí)動(dòng)物，需要拿幾張圖片給他們看，告訴他們這是什么，教了幾遍之后，小孩兒就能認(rèn)識(shí)了。 那么這里訓(xùn)練LeNet5模型就需要用到MNIST數(shù)據(jù)集。這個(gè)數(shù)據(jù)集由兩部分組成：訓(xùn)練集（6萬(wàn)張圖片）和測(cè)試集（1萬(wàn)張圖片），都是0~9的黑白手寫數(shù)字圖片。訓(xùn)練集是用來(lái)訓(xùn)練AI模型的，測(cè)試集是用來(lái)測(cè)試訓(xùn)練后的模型分類準(zhǔn)確率的。 再接下來(lái)就是訓(xùn)練模型，訓(xùn)練數(shù)據(jù)集和模型定義完成后，就可以開(kāi)始訓(xùn)練模型了。在訓(xùn)練之前，還需要從MindSpore導(dǎo)入兩個(gè)函數(shù)：損失函數(shù)，就是衡量預(yù)測(cè)結(jié)果和真實(shí)標(biāo)簽之間的差距的函數(shù)；優(yōu)化器，用來(lái)求解損失函數(shù)關(guān)于模型參數(shù)的更新梯度的。準(zhǔn)備好之后，開(kāi)始訓(xùn)練，把前面定義好的模型、損失函數(shù)、優(yōu)化器封裝成一個(gè)Model，使用model.train接口就可以訓(xùn)練LeNet5模型了。最后就是測(cè)試訓(xùn)練后的模型準(zhǔn)確率。訓(xùn)練AI模型花費(fèi)大當(dāng)然，模型訓(xùn)練需要強(qiáng)大的算力支撐，尤其是參數(shù)量大的模型，花費(fèi)極大。 比如OpenAI的語(yǔ)言模型GPT-3，這是一個(gè)大型的、數(shù)學(xué)模擬的神經(jīng)網(wǎng)絡(luò)，從網(wǎng)絡(luò)上抓取大量文本進(jìn)行訓(xùn)練后，GPT-3可以以驚人的連貫性預(yù)測(cè)哪些詞應(yīng)該填在其他詞前后，生成流暢的文本。據(jù)估計(jì)，訓(xùn)練GPT-3的成本接近500萬(wàn)美元。 一些小企業(yè)想要訓(xùn)練一個(gè)參數(shù)較大的算法，往往比較苦難。健康IT公司Optum的一位領(lǐng)導(dǎo)此前表示，他們團(tuán)隊(duì)使用語(yǔ)言模型來(lái)分析通話記錄，識(shí)別哪些患者風(fēng)險(xiǎn)較高，哪些應(yīng)該及早推薦轉(zhuǎn)診。只是訓(xùn)練一個(gè)GPT-3大小千分之一的語(yǔ)言模型，也會(huì)很快耗盡團(tuán)隊(duì)的預(yù)算。 另外一家從事搜索業(yè)務(wù)的創(chuàng)業(yè)公司Glean，一直很想使用最新的AI算法來(lái)改進(jìn)公司的產(chǎn)品。 Glean提供Gmail、Slack和Salesforce等應(yīng)用程序進(jìn)行搜索的工具，用于解析語(yǔ)言的新AI技術(shù)，可以幫助公司的客戶更快地發(fā)掘正確的文件或?qū)υ挕?/span> 但是訓(xùn)練這樣一個(gè)尖端的人工智能算法需要花費(fèi)數(shù)百萬(wàn)美元。Glean只好使用更小、能力更弱的AI模型，然而這些模型無(wú)法從文本中提取出盡可能多的含義。
小結(jié)過(guò)去十幾年，AI取得了一些列舉世矚目的成績(jī)，包括在游戲中擊敗人類，讓汽車可以行駛在城市的街道上，AI自己編寫連貫的文字，做出可以媲美畫(huà)家的畫(huà)作。這都得益于數(shù)據(jù)量的不斷積累，算法的不斷優(yōu)化，以及可以支撐算法訓(xùn)練的算力的不斷強(qiáng)化。 然而，在發(fā)展的過(guò)程中同樣還存在一些問(wèn)題。比如對(duì)于小企業(yè)來(lái)說(shuō)，訓(xùn)練高級(jí)AI算法成本高，這就會(huì)使得AI的全面應(yīng)用受到阻礙等問(wèn)題。當(dāng)然AI整體呈現(xiàn)出快速發(fā)展的趨勢(shì)，業(yè)界也在不斷探索有利于AI發(fā)展的方式，比如大模型的出現(xiàn)，本身也是為了解決通用性的問(wèn)題，比如說(shuō)模型簡(jiǎn)化，減少模型訓(xùn)練所需要算力等。
?
- 車載大屏產(chǎn)業(yè)鏈分析，主要玩家都有誰(shuí)？
- 谷歌3D全息電話亭，顛覆現(xiàn)有視頻通話！宛如真人面對(duì)面
- 富士康Model B/V正式發(fā)布，ALL IN電動(dòng)車代工，全產(chǎn)業(yè)鏈布局格局顯現(xiàn)
- 半導(dǎo)體TOP 10廠商股價(jià)集體腰斬，臺(tái)積電再傳危機(jī)信號(hào)
- 2026年交付！索尼造車終于塵埃落定，本田成代工廠
原文標(biāo)題：AI模型是如何訓(xùn)練的？訓(xùn)練一個(gè)模型花費(fèi)多大？
文章出處：【微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
AI
+關(guān)注
關(guān)注
87文章
28902瀏覽量
266275 -
人工智能
+關(guān)注
關(guān)注
1787文章
46067瀏覽量
235119
原文標(biāo)題：AI模型是如何訓(xùn)練的？訓(xùn)練一個(gè)模型花費(fèi)多大？
文章出處：【微信號(hào)：elecfans，微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
ai大模型訓(xùn)練方法有哪些？
AI大模型訓(xùn)練方法是一個(gè)復(fù)雜且不斷發(fā)展的領(lǐng)域。以下是ai大模
ai大模型和ai框架的關(guān)系是什么
AI大模型和AI框架是人工智能領(lǐng)域中兩個(gè)重要的概念，它們之間的關(guān)系密切且復(fù)雜。 AI大模型的定義
如何使用經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型
使用經(jīng)過(guò)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型是一個(gè)涉及多個(gè)步驟的過(guò)程，包括數(shù)據(jù)準(zhǔn)備、模型加載、預(yù)測(cè)執(zhí)行以及后續(xù)優(yōu)化等。
python訓(xùn)練出的模型怎么調(diào)用
在Python中，訓(xùn)練出的模型可以通過(guò)多種方式進(jìn)行調(diào)用。 1. 模型保存與加載 在Python中，訓(xùn)練好的模型需要被保存，以便在其他程序或會(huì)
大語(yǔ)言模型的預(yù)訓(xùn)練
隨著人工智能技術(shù)的飛速發(fā)展，自然語(yǔ)言處理（NLP）作為人工智能領(lǐng)域的一個(gè)重要分支，取得了顯著的進(jìn)步。其中，大語(yǔ)言模型（Large Language Model, LLM）憑借其強(qiáng)大的語(yǔ)言理解和生成
人臉識(shí)別模型訓(xùn)練流程
人臉識(shí)別模型訓(xùn)練流程是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一項(xiàng)重要技術(shù)。本文將詳細(xì)介紹人臉識(shí)別模型的訓(xùn)練流程，包括數(shù)據(jù)準(zhǔn)備、
人臉識(shí)別模型訓(xùn)練失敗原因有哪些
人臉識(shí)別模型訓(xùn)練失敗的原因有很多，以下是一些常見(jiàn)的原因及其解決方案： 數(shù)據(jù)集質(zhì)量問(wèn)題 數(shù)據(jù)集是訓(xùn)練人臉識(shí)別模型的基礎(chǔ)。如果數(shù)據(jù)集存在質(zhì)量問(wèn)題
人臉識(shí)別模型訓(xùn)練是什么意思
人臉識(shí)別模型訓(xùn)練是指通過(guò)大量的人臉數(shù)據(jù)，使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)算法，訓(xùn)練出一個(gè)能夠識(shí)別和分類人臉的模型
預(yù)訓(xùn)練模型的基本原理和應(yīng)用
預(yù)訓(xùn)練模型（Pre-trained Model）是深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域中的一個(gè)重要概念，尤其是在自然語(yǔ)言處理（NLP）和計(jì)算機(jī)視覺(jué)（CV）等領(lǐng)域中得到了廣泛應(yīng)用。預(yù)
深度學(xué)習(xí)模型訓(xùn)練過(guò)程詳解
深度學(xué)習(xí)模型訓(xùn)練是一個(gè)復(fù)雜且關(guān)鍵的過(guò)程，它涉及大量的數(shù)據(jù)、計(jì)算資源和精心設(shè)計(jì)的算法。訓(xùn)練一
【大語(yǔ)言模型：原理與工程實(shí)踐】大語(yǔ)言模型的預(yù)訓(xùn)練
訓(xùn)練數(shù)據(jù)時(shí)，數(shù)量、質(zhì)量和多樣性三者缺一不可。
數(shù)據(jù)的多樣性對(duì)于大語(yǔ)言模型至關(guān)重要，這主要體現(xiàn)在數(shù)據(jù)的類別和來(lái)源兩個(gè)方面。豐富的數(shù)據(jù)類別能夠提供多樣的語(yǔ)言表達(dá)特征，如官方知識(shí)型數(shù)據(jù)、口
發(fā)表于 05-07 17:10
谷歌模型訓(xùn)練軟件有哪些？谷歌模型訓(xùn)練軟件哪個(gè)好？
谷歌在模型訓(xùn)練方面提供了一些強(qiáng)大的軟件工具和平臺(tái)。以下是幾個(gè)常用的谷歌模型訓(xùn)練軟件及其特點(diǎn)。
谷歌模型訓(xùn)練軟件有哪些功能和作用
谷歌模型訓(xùn)練軟件主要是指ELECTRA，這是一種新的預(yù)訓(xùn)練方法，源自谷歌AI。ELECTRA不僅擁有BERT的優(yōu)勢(shì)，而且在效率上更勝
AI 模型構(gòu)建的五個(gè)過(guò)程詳解
AI 模型構(gòu)建的過(guò)程 模型構(gòu)建主要包括 5 個(gè)階段，分別為模型設(shè)計(jì)、特征工程、模型
發(fā)表于 11-17 10:31
?7306次閱讀
工商網(wǎng)監(jiān)
評(píng)論