精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深層神經網絡模型的訓練:過擬合優化

電子設計 ? 來源:TOMORROW 星辰 ? 作者:TOMORROW 星辰 ? 2020-12-02 14:17 ? 次閱讀

·過擬合(Overfitting)

深層神經網絡模型的訓練過程,就是尋找一個模型能夠很好的擬合現有的數據(訓練集),同時能夠很好的預測未來的數據。

在訓練過程中由于模型建立的不恰當,往往所訓練得到的模型能夠對訓練集的數據非常好的擬合,但是卻在預測未來的數據上表現得非常差,這種情況就叫做過擬合(Overfitting)。

為了訓練出高效可用的深層神經網絡模型,在訓練時必須要避免過擬合的現象。過擬合現象的優化方法通常有三種,分別是:正則化(Regulation),擴增訓練集(Data augmentation)以及提前停止迭代(Early stopping)。

·正則化(Regulation)

正則化方法是指在進行損失函數(costfunction)優化時,在損失函數后面加上一個正則項。

正則化方法中目前常用的有兩種方法:L2 正則化和 Dropout 正則化。

L2 正則

L2 正則是基于 L2 范數,即在函數后面加上參數的 L2 范數的平方,即:

其中J0是原損失函數,m 表示數據集的大小。使用下式對參數進行更新:

其中,因此知道 w 在進行權重衰減。在神經網絡中,當一個神經元的權重越小時,那么該神經元在神經網絡中起到的作用就越小,當權重為 0 時,那么該神經元就可以被神經網絡剔除。而過擬合現象出現的原因之一就是,模型復雜度過高。那么,也就是說 L2 正則化后,權重會衰減,從而降低了模型的復雜度,從而一定程度上避免對數據過擬合。

隨機失活(Dropout)正則

其實 Dropout 的思路與 L2 的思路是一致的,都是降低模型的復雜度,從而避免過擬合。只是實現的方法有所不同。

Dropout 的做法是,在訓練過程中,按照一定的概率隨機的忽略掉一些神經元,使其失活,從而就降低了模型的復雜度,提高了泛化的能力,一定程度上避免了過擬合。

常用的實現方法是 InvertedDropout。

使用 Dropout 的小技巧

·1、通常丟棄率控制在 20%~50%比較好,可以從 20%開始嘗試。如果比例太低則起不到效果,比例太高則會導致模型的欠學習。

·2、在大的網絡模型上應用。當 dropout 用在較大的網絡模型時更有可能得到效果的提升,模型有更多的機會學習到多種獨立的表征。

·3、在輸入層(可見層)和隱藏層都使用 dropout。在每層都應用 dropout 被證明會取得好的效果。

·4、增加學習率和沖量。把學習率擴大 10~100 倍,沖量值調高到 0.9~0.99.

·5、限制網絡模型的權重。大的學習率往往導致大的權重值。對網絡的權重值做最大范數正則化等方法被證明會提升效果。

·擴增訓練集(Data augmentation)

“有時候不是因為算法好贏了,而是因為擁有更多的數據才贏了。”

特別在深度學習中,更多的訓練數據,意味著可以訓練更深的網絡,訓練出更好的模型。

然而很多時候,收集更多的數據并不那么容易,要付出很大的代價。那么,為了得到更多的訓練數據,我們可以在原有的數據上做一些改動產生新的可用數據,以圖片數據為例,將圖片水平翻轉,放大或者選擇一個小角度都可以得到新的圖片數據用于訓練。

雖然這樣的效果沒有全新的數據更加好,但是付出的代價卻是接近于零的。所以,很多情況下,這是一個非常好的數據擴增方法。

·提前停止迭代(Early stopping)

在訓練過程中繪制訓練集誤差函數的同時也繪制交叉驗證集的誤差。從下面的圖可以看出,訓練集誤差隨著迭代次數增加而不斷降低,而驗證集誤差卻是先降低后上升。很明顯,在這個模型中,我們希望驗證集誤差和訓練集誤差都盡量的小,那么最優點就是在驗證集誤差的最低點,訓練應該在該點處停止,也就是選取該點處的權重值作為神經網絡的參數。

但是這種優化方法有很大的缺點。因為提前停止訓練,也就是停止優化訓練集的誤差,通常情況下,在驗證集誤差達到最小值時,訓練集誤差還未處于一個足夠小的值。從而使得該模型雖然沒有出現過擬合現象,卻是出現了欠擬合的情況。當然,這種優化方法還是有著表現優異的使用場景的。
編輯:hfy

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4762

    瀏覽量

    100535
收藏 人收藏

    評論

    相關推薦

    如何使用經過訓練神經網絡模型

    使用經過訓練神經網絡模型是一個涉及多個步驟的過程,包括數據準備、模型加載、預測執行以及后續優化等。
    的頭像 發表于 07-12 11:43 ?829次閱讀

    殘差網絡是深度神經網絡

    殘差網絡(Residual Network,通常簡稱為ResNet) 是深度神經網絡的一種 ,其獨特的結構設計在解決深層網絡訓練中的梯度消失
    的頭像 發表于 07-11 18:13 ?980次閱讀

    神經網絡優化器有哪些

    神經網絡優化器是深度學習中用于調整網絡參數以最小化損失函數的重要工具。這些優化器通過不同的策略來更新網絡權重,以提高
    的頭像 發表于 07-11 16:33 ?509次閱讀

    神經網絡辨識模型具有什么特點

    神經網絡辨識模型是一種基于人工神經網絡的系統辨識方法,它具有以下特點: 非線性映射能力 :神經網絡能夠處理非線性問題,可以很好地擬合復雜的非
    的頭像 發表于 07-11 11:12 ?405次閱讀

    怎么對神經網絡重新訓練

    重新訓練神經網絡是一個復雜的過程,涉及到多個步驟和考慮因素。 引言 神經網絡是一種強大的機器學習模型,廣泛應用于圖像識別、自然語言處理、語音識別等領域。然而,隨著時間的推移,數據分布可
    的頭像 發表于 07-11 10:25 ?416次閱讀

    pytorch中有神經網絡模型

    當然,PyTorch是一個廣泛使用的深度學習框架,它提供了許多預訓練神經網絡模型。 PyTorch中的神經網絡模型 1. 引言 深度學習是
    的頭像 發表于 07-11 09:59 ?638次閱讀

    PyTorch神經網絡模型構建過程

    PyTorch,作為一個廣泛使用的開源深度學習庫,提供了豐富的工具和模塊,幫助開發者構建、訓練和部署神經網絡模型。在神經網絡模型中,輸出層是
    的頭像 發表于 07-10 14:57 ?449次閱讀

    人工神經網絡模型訓練的基本原理

    圖像識別、語音識別、自然語言處理等。本文將介紹人工神經網絡模型訓練的基本原理。 1. 神經網絡的基本概念 1.1 神經
    的頭像 發表于 07-05 09:16 ?566次閱讀

    神經網絡擬合的誤差怎么分析

    神經網絡擬合誤差分析是一個復雜且深入的話題,涉及到多個方面,需要從數據質量、模型結構、訓練過程和正則化方法等多個角度進行綜合考慮。 引言 神經網絡
    的頭像 發表于 07-03 10:36 ?489次閱讀

    卷積神經網絡訓練的是什么

    訓練過程以及應用場景。 1. 卷積神經網絡的基本概念 1.1 卷積神經網絡的定義 卷積神經網絡是一種前饋深度學習模型,其核心思想是利用卷積
    的頭像 發表于 07-03 09:15 ?350次閱讀

    卷積神經網絡和bp神經網絡的區別

    不同的神經網絡模型,它們在結構、原理、應用等方面都存在一定的差異。本文將從多個方面對這兩種神經網絡進行詳細的比較和分析。 引言 神經網絡是一種模擬人腦
    的頭像 發表于 07-02 14:24 ?2901次閱讀

    數學建模神經網絡模型的優缺點有哪些

    、預測分析等。然而,神經網絡模型也存在一些優缺點。本文將詳細分析神經網絡模型的優缺點。 一、優點 強大的非線性擬合能力
    的頭像 發表于 07-02 11:36 ?799次閱讀

    如何訓練優化神經網絡

    神經網絡是人工智能領域的重要分支,廣泛應用于圖像識別、自然語言處理、語音識別等多個領域。然而,要使神經網絡在實際應用中取得良好效果,必須進行有效的訓練優化。本文將從
    的頭像 發表于 07-01 14:14 ?396次閱讀

    助聽器降噪神經網絡模型

    抑制任務是語音增強領域的一個重要學科, 隨著深度神經網絡的興起,提出了幾種基于深度模型的音頻處理新方法[1,2,3,4]。然而,這些通常是為離線處理而開發的,不需要考慮實時性。當使用神經網絡
    發表于 05-11 17:15

    Kaggle知識點:訓練神經網絡的7個技巧

    科學神經網絡模型使用隨機梯度下降進行訓練模型權重使用反向傳播算法進行更新。通過訓練神經網絡
    的頭像 發表于 12-30 08:27 ?632次閱讀
    Kaggle知識點:<b class='flag-5'>訓練</b><b class='flag-5'>神經網絡</b>的7個技巧