精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

機器學習中最常見錯誤解決方案

新機器視覺 ? 來源:機器之心 ? 作者:機器之心 ? 2022-08-08 16:56 ? 次閱讀

當你構建第一個模型,注意避免這5個坑。

數據科學和機器學習正變得越來越流行,這個領域的人數每天都在增長。這意味著有很多數據科學家在構建他們的第一個機器學習模型時沒有豐富的經驗,而這也是錯誤可能會發生的地方。

近日,軟件架構師、數據科學家、Kaggle 大師 Agnis Liukis 撰寫了一篇文章,他在文中談了談在機器學習中最常見的一些初學者錯誤的解決方案,以確保初學者了解并避免它們。

以下為文章內容:

在機器學習領域,初學者避免這 5 個坑

1、在需要的地方沒有使用數據歸一化

對數據進行歸一化操作,然后獲取特征,并將其輸入到模型中,讓模型做出預測,這種方法是很容易的。但在某些情況下,這種簡單方法的結果可能會讓人失望,因為它缺少一個非常重要的部分。

一些類型的模型需要數據歸一化,如線性回歸、經典神經網絡等。這類模型使用特征值去乘訓練值的權重。在非歸一化特征的情況下,一個特征值的可能范圍可能不同于另一個特征值的可能范圍。

假設一個特征的值在 [0,0.001] 范圍內,另一個特征的值在 [100000,200000] 范圍內。對于使兩個特征同等重要的模型,第一個特征的權重將比第二個特征的權重大 1 億倍。巨大的權重可能會給模型帶來嚴重問題,比如存在一些異常值的時候。此外,估計各種特征的重要性變得困難,因為權重大可能意味著特征很重要,但也可能只是意味著其特征值很小

歸一化后,所有特征的值都在相同的范圍內,通常為 [0,1] 或 [-1,1]。在這種情況下,權重將在相似的范圍內,并與每個特征的實際重要性密切對應。

總的來說,在需要的地方使用數據歸一化將產生更好、更準確的預測。

2、認為特征越多越好

有人可能會認為加入所有特征是一個好主意,認為模型會自動選擇并使用最好的特征。實際上,這種想法很難成真。

模型的特征越多,過擬合的風險越大。即使在完全隨機的數據中,模型也能夠找到一些特征(信號),盡管有時較弱,有時較強。當然,隨機噪聲中沒有真實信號。但如果我們有足夠多的噪聲列,則該模型有可能根據檢測到的故障信號使用其中的一部分。當這種情況發生時,模型預測質量將會降低,因為它們一定程度上基于隨機噪聲。

現在有許多技術幫助我們進行特征選擇。但你要記住,你需要解釋你擁有的每一個特征,以及為什么這個特征會幫助你的模型。

3. 在需要外推的情況下,使用基于樹的模型

基于樹的模型易于使用,功能強大,這也是其受歡迎的原因。然而,在某些情況下,使用基于樹的模型可能是錯誤的。

基于樹的模型無法外推,這些模型的預測值永遠不會大于訓練數據中的最大值,而且在訓練中也永遠不會輸出比最小值更小的預測值。

在某些任務中,外推能力可能非常重要。例如,如果該模型預測股票價格,那么未來股票價格可能會比以往任何時候都高。在這種情況下,基于樹的模型將無法直接使用,因為它們的預測幾乎會超過最高歷史價格。

這個問題有多種解決方案,一種解決方案是預測變化或差異,而不是直接預測價值。另一種解決方案是為此類任務使用不同類型的模型。線性回歸或神經網絡就可以進行外推。

4、在不需要的地方使用數據歸一化

之前文章談到了數據歸一化的必要性,但情況并非總是如此,基于樹的模型不需要數據歸一化。神經網絡可能也不需要明確的歸一化,因為有些網絡內部已經包含歸一化層,例如 Keras 庫的 BatchNormalization 操作。

在某些情況下,即使是線性回歸也可能不需要數據歸一化,這是指所有特征都已處于類似的值范圍,并且具有相同的含義。例如,如果模型適用于時間序列數據,并且所有特征都是同一參數的歷史值。

5. 在訓練集和驗證集 / 測試集之間泄漏信息

造成數據泄漏比人們想象的要容易,考慮以下代碼段:

67499348-165a-11ed-ba43-dac502259ad0.png

數據泄漏的示例特性

實際上,這兩種特征(sum_feature 和 diff_feature)都不正確。它們正在泄漏信息,因為在拆分到訓練集 / 測試集后,具有訓練數據的部分將包含來自測試的一些信息。這將導致更高的驗證分數,但當應用于實際的數據模型時,性能會更差。

正確的方法是首先將訓練集 / 測試集分開,然后才應用特征生成功能。通常,分別處理訓練集和測試集是一種很好的特征工程模式。

在某些情況下,可能需要在兩者之間傳遞一些信息 —— 例如,我們可能希望在測試集和訓練集上使用相同的 StandardScaler。

總而言之,從錯誤中吸取教訓是件好事,希望上述所提供的錯誤示例能幫助到你。

審核編輯:彭靜
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4765

    瀏覽量

    100568
  • 數據
    +關注

    關注

    8

    文章

    6909

    瀏覽量

    88850
  • 機器學習
    +關注

    關注

    66

    文章

    8382

    瀏覽量

    132444

原文標題:機器學習初學者易踩的5個坑

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    SQL錯誤代碼及解決方案

    在SQL數據庫開發和管理中,常見錯誤代碼及其解決方案可以歸納如下: 一、語法錯誤(Syntax Errors) 錯誤代碼 :無特定代碼,但
    的頭像 發表于 11-19 10:21 ?585次閱讀

    aes加密的常見錯誤解決方案

    的歸納以及相應的解決方案常見錯誤 編碼問題 : 在將字節數組轉換成字符串時,如果使用了不同的編碼格式,可能會導致解密后的數據出現亂碼。 密鑰長度問題 : AES算法支持128位、192位和256位三種密鑰長度。如果加密和解密
    的頭像 發表于 11-14 15:13 ?613次閱讀

    socket 常見錯誤解決方案

    在網絡編程中,使用套接字(socket)是進行網絡通信的基礎。然而,在實際應用中,開發者可能會遇到各種錯誤。以下是一些常見的套接字錯誤及其解決方案: 1. 連接超時(ETIMEDOUT
    的頭像 發表于 11-12 14:15 ?594次閱讀

    SUMIF函數常見錯誤解決方案

    SUMIF函數是Excel中一個非常實用的函數,用于根據給定條件對數據進行求和。然而,在使用過程中,用戶可能會遇到一些常見錯誤。 1. 錯誤:范圍不正確 錯誤描述: 用戶可能沒有正確設
    的頭像 發表于 11-11 09:10 ?470次閱讀

    對電動汽車電池11大誤解的解答

    近幾年,電動汽車技術快速發展,尤其是其電池技術,本文將探索關于電動汽車(EV)電池——這一汽車行業中最具前景的新技術之一——的11個最常見誤解,以及與無線電池管理系統(BMS)相關的內容。
    的頭像 發表于 11-07 17:18 ?831次閱讀

    服務器錯誤是怎么回事?常見錯誤原因及解決方法匯總

    服務器錯誤是怎么回事?最常見的原因分有六個,分別是:硬件問題、軟件問題、網絡問題、資源耗盡、數據庫、文件權限問題。可以根據以下具體錯誤原因進行辨別,并選擇適合的解決方法。關于常見服務器
    的頭像 發表于 08-12 10:11 ?1347次閱讀

    功能測試覆蓋中最常見的是什么方法

    功能測試覆蓋是軟件測試過程中的一個重要環節,它主要關注軟件產品的功能實現是否符合需求規格說明。在功能測試覆蓋中,有多種方法可以采用,以確保測試的全面性和有效性。本文將詳細介紹功能測試覆蓋中最常見
    的頭像 發表于 05-30 14:55 ?598次閱讀

    請問PSoC? Creator IDE可以支持IMAGIMOB機器學習嗎?

    。 我發現IMAGIMOB 是一個很好的解決方案來滿足我的需求,但現在的問題是, PSoC? Creator 不支持 IMAGIMOB! PSoC? Creator 可以支持機器學習或 IMAGIMOB 嗎?
    發表于 05-20 08:06

    音視頻解碼生成常見問題及解決方案

    在音視頻解碼生成的過程中,我們可能會遇到一些常見問題,這些問題可能會影響解碼的效果和效率。以下是一些常見問題及其解決方案: 問題1:解碼失敗 原因 :可能是文件本身有問題,如損壞或格式不支持;也
    的頭像 發表于 02-21 14:39 ?1315次閱讀

    PCB設計工作中常見錯誤有哪些?

    一站式PCBA智造廠家今天為大家講講PCB設計工作中常見錯誤有哪些?PCB設計中最常見到的六個錯誤。PCB設計是電子產品制造中非常關鍵的一環。它的質量直接關系到整個產品的性能和穩定性
    的頭像 發表于 02-21 09:32 ?526次閱讀
    PCB設計工作中<b class='flag-5'>常見</b>的<b class='flag-5'>錯誤</b>有哪些?

    最常見的直流負載工作方式

    最常見的直流負載工作方式? 直流負載工作方式是指在直流電路中使用的各種負載方式。直流負載是用于測試和測量直流電源輸出能力和能效的設備,可以模擬真實負載條件下的電流和功率需求。本文將詳細介紹最常見
    的頭像 發表于 01-18 15:12 ?711次閱讀

    盤點PCB設計中的常見錯誤

    搞技術,難免存在錯誤,只有經歷過錯誤,才能更快地成長。PCB設計也一樣,今天就來盤點一下PCB設計中最常見錯誤。
    的頭像 發表于 01-12 09:53 ?1349次閱讀
    盤點PCB設計中的<b class='flag-5'>常見</b><b class='flag-5'>錯誤</b>

    PCB金手指設計的常見問題和解決方案

    PCB金手指設計的常見問題和解決方案
    的頭像 發表于 12-25 10:09 ?2138次閱讀

    初學仿真常見錯誤

    本推文針對Sentaurus初學者頻繁遇到的錯誤進行簡單整理,具體是包括Sde、Sdevice仿真常見錯誤。
    的頭像 發表于 12-03 16:24 ?2165次閱讀
    初學仿真<b class='flag-5'>常見</b>的<b class='flag-5'>錯誤</b>

    vlookup常見的12種錯誤

    中,我將介紹VLOOKUP函數的常見錯誤,并提供詳盡、詳實、細致的解決方法。 錯誤#N/A:這是最常見的VLOOKUP錯誤之一,它表示無法找
    的頭像 發表于 12-01 11:19 ?3134次閱讀