精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

使用元學習進行少樣本圖像分類

電子設計 ? 來源:電子設計 ? 作者:電子設計 ? 2020-12-14 23:28 ? 次閱讀

首發:AI公園
作者:Etienne
編譯:ronghuaiyang

導讀

你并不總是有足夠的圖像來訓練一個深度神經網絡。下面是教你如何通過幾個樣本讓模型快速學習的方法。

我們為什么要關心少樣本學習?

1980年,Kunihiko Fukushima開發了第一個卷積神經網絡。自那以后,由于計算能力的不斷增強和機器學習社區的巨大努力,深度學習算法從未停止提高其在與計算機視覺相關的任務上的性能。2015年,Kaiming He和他的微軟的團隊報告說,他們的模型在從ImageNet分類圖像時比人類表現更好。那時,我們可以說計算機在處理數十億張圖像來解決特定任務方面比我們做得更好。

但是,如果你不是谷歌或Facebook,你不可能總是能夠構建具有那么多圖像的數據集。當你在計算機視覺領域工作時,你有時不得不對圖像進行分類,每個標簽只有一個或兩個樣本。在這場比賽中,人類還是要被打敗的。只要給嬰兒看一張大象的照片,他們從此以后就可以認出大象了。如果你用Resnet50做同樣的事情,你可能會對結果感到失望。這種從少量樣本中學習的問題叫做少樣本學習。

近年來,少樣本學習問題在研究界引起了極大的關注,并且已經開發出了許多優雅的解決方案。目前最流行的解決方案是使用元學習,或者用三個詞來概括:learning to learn。如果你想知道元學習是什么以及它是如何工作的,請繼續閱讀。

少樣本圖像分類任務

首先,我們需要定義N-way K-shot圖像分類任務。給定:

一個由N個標簽組成的支持集,每個標簽對應K個有標簽的圖像

由Q個查詢圖像組成的查詢集

任務是對查詢圖像進行分類。當K很小(通常是K<10)時,我們討論的是少樣本圖像分類(在K=1的情況下,是單樣本圖像分類)。


一個少樣本分類任務的例子:對于支持集中N=3個類中的每個類,給定K=2個樣本,我們希望將查詢集中的Q=4只狗標記為Labrador, saint bernard或Pug。即使你從沒見過Labrador、saint bernard或Pug,這對你來說也很容易。但要用人工智能解決這個問題,我們需要元學習。

元學習范式

1998年,Thrun & Pratt說,要解決一個任務,一個算法學習“如果性能可以隨著經驗提升”,同時,給定一族需要解決的問題,一個算法學習”性能隨著經驗和任務數量提升”。我們將后者稱為元學習算法。它不是去學習如何解決一個特定的任務。它可以學會解決許多任務。每學習一項新任務,它就能更好地學習新任務:它學會去學習。

正式的描述一下,如果我們想要解決一個任務T,元學習算法訓練一批任務{T?}。算法通過嘗試解決這些任務來得到學習的經驗,最終去解決終極任務T。

例如,考慮上圖中顯示的任務_T_。它包括有標簽圖像,如Labrador,Saint-Bernard或Pug,使用3x2=6個有標簽圖像。一個訓練任務T?可能是利用6個有標簽圖像把圖像標記為Boxer, Labradoodle或者Rottweiler。meta-training過程是一連串的這些任務T?,每一次都是不同品種的狗。我們期望元學習模型“隨著經驗和任務數量的增加”變得更好。最后,我們在_T_上對模型進行評價。

我們評估了Labradors、Saint-Bernards和Pugs的元學習模型,但我們只在其他品種上訓練。

怎么做呢?假設你想要解決這個任務(Labrador,Saint-Bernard 和Pug)。你需要一個元訓練數據集,里面有很多不同品種的狗。例如,你可以使用Stanford Dogs數據集,其中包含從ImageNet提取的超過20k只狗。我們將此數據集稱為_D_。注意,_D_不需要包含任何Labrador,Saint-Bernard或Pug。

我們從_D_中抽取batch組成episodes。每個episodes 對應于一個N-way K-shot分類任務T?,(通常我們使用相同的N和K)。模型解決了batch中的所有的episodes后(對查詢集中的所有圖像打標簽),它的參數被更新。這通常是通過對查詢集上的分類不準確造成的損失進行反向傳播來實現的。

這樣,模型跨任務學習,以準確地解決一個新的,看不見的少樣本分類任務。標準學習分類算法學習一個映射_圖像→標簽_,元學習算法學習一個映射:support-set→c(.),其中c是一個映射:query→label。

元學習算法

既然我們知道了算法元訓練意味著什么,一個謎仍然存在:元學習模型是如何解決一個少樣本的分類任務的?當然,解決方案不止一種。我們聚焦在最流行的方案上。

元學習

度量學習的基本思想是學習數據點(如圖像)之間的距離函數。它已經被證明對于解決較少樣本的分類任務是非常有用的:度量學習算法不需要對支持集(少量標記圖像)進行微調,而是通過與標記圖像進行比較來對查詢圖像進行分類。

查詢(右側)與支持集的每個圖像進行比較。它的標簽取決于哪些圖像最接近。

當然,你不能逐像素地比較圖像,所以你要做的是在相關的特征空間中比較圖像。為了更清楚一些,讓我們詳細說明度量學習算法如何解決一個少樣本的分類任務(上面定義為一個標簽樣本的支持集,和一個我們想要分類的圖像的查詢集):

1、我們從支持和查詢集的所有圖像中提取嵌入(通常使用卷積神經網絡)。現在,我們在少樣本分類任務中必須考慮的每一幅圖像都可以用一維向量表示。

2、每個查詢根據其支持圖像集的距離進行分類。距離函數和分類策略都有很多可能的設計選擇。一個例子就是歐氏距離和k近鄰。

3、在元訓練期間,在episode結束時,通過反向傳播查詢集上分類錯誤造成的損失(通常是交叉熵損失)來更新CNN的參數。

每年都會發布幾種度量學習算法來解決少樣本圖像分類的兩個原因是:

1、它們在經驗上很有效;

2、唯一的限制是你的想象力。有許多方法可以提取特征,甚至有更多的方法可以比較這些特征。現在我們將回顧一些現有的解決方案。

匹配網絡的算法。特征提取器對于支持集圖像和查詢圖像是不同的。使用余弦相似度將查詢的嵌入與支持集中的每幅圖像進行比較。然后用softmax對其進行分類。

匹配網絡(見上圖)是第一個使用元學習的度量學習算法。在這種方法中,我們不以同樣的方式提取支持圖像和查詢圖像的特征。來自谷歌DeepMind的Oriol Vinyals和他的團隊提出了使用LSTM networks在特征提取期間使所有圖像進行交互的想法。稱為全上下文嵌入,因為你允許網絡找到最合適的嵌入,不僅知道需要嵌入的圖像,而且還知道支持集中的所有其他圖像。這讓他們的模型表現的更好,因為所有的圖像都通過了這個簡單的CNN,但它也需要更多的時間和更大的GPU

在最近的研究中,我們沒有將查詢圖像與支持集中的每一張圖像進行比較。多倫多大學的研究人員提出了Prototypical Networks。在它們的度量學習算法中,在從圖像中提取特征后,我們計算每個類的原型。為此,他們使用類中每個圖像嵌入的平均值。(但是你可以想象數以千計的方法來計算這些嵌入。為了反向傳播,函數只需是可微的即可)一旦原型被計算出來,查詢將使用到原型的歐式距離進行分類(見下圖)。

在原型網絡中,我們將查詢X標記為最接近原型的標簽。

盡管簡單,原型網絡仍然能產生最先進的結果。更復雜的度量學習架構后來被開發出來,比如一個神經網絡來表示距離函數(而不是歐氏距離)。這略微提高了精確度,但我相信時至今日,原型的想法是在用于少樣本圖像分類的度量學習算法領域中最有價值的想法(如果你不同意,請留下憤怒的評論)。

模型無關元學習

我們將以模型無關元學習 (MAML)來結束這次回顧,這是目前最優雅、最有前途的元學習算法之一。它基本上是最純粹的元學習,通過神經網絡有兩個層次的反向傳播。

該算法的核心思想是訓練神經網絡的參數,可以適應快速和較少的例子,以新的分類任務。下面我將為你提供一個關于MAML如何在一個episode中進行元訓練的可視化例子(例如,在從D中采樣得到的T?上進行few-shot分類任務)。假設你有一個神經網絡M參數為

審核編輯 黃昊宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 圖像分類
    +關注

    關注

    0

    文章

    90

    瀏覽量

    11907
  • 深度學習
    +關注

    關注

    73

    文章

    5492

    瀏覽量

    120977
收藏 人收藏

    評論

    相關推薦

    《DNK210使用指南 -CanMV版 V1.0》第四十八章 自學習分類實驗

    的介紹,請見第39.1小節《maix.KPU模塊介紹》。48.2 硬件設計48.2.1 例程功能1. 獲取攝像頭輸出的圖像,對三類物體分別采集五張圖像后,對采集到的圖像進行
    發表于 11-20 09:22

    使用卷積神經網絡進行圖像分類的步驟

    使用卷積神經網絡(CNN)進行圖像分類是一個涉及多個步驟的過程。 1. 問題定義 確定目標 :明確你想要分類圖像類型,例如貓和狗、不同的植
    的頭像 發表于 11-15 15:01 ?201次閱讀

    主動學習圖像分類技術中的應用:當前狀態與未來展望

    本文對近年來提出的主動學習圖像分類算法進行了詳細綜述,并根據所用樣本數據處理及模型優化方案,將現有算法分為三類:基于數據增強的算法,包括利用
    的頭像 發表于 11-14 10:12 ?144次閱讀
    主動<b class='flag-5'>學習</b>在<b class='flag-5'>圖像</b><b class='flag-5'>分類</b>技術中的應用:當前狀態與未來展望

    圖像識別算法都有哪些方法

    圖像識別算法是計算機視覺領域的核心任務之一,它涉及到從圖像中提取特征并進行分類、識別和分析的過程。隨著深度學習技術的不斷發展,
    的頭像 發表于 07-16 11:14 ?5125次閱讀

    圖像識別技術的原理是什么

    圖像識別技術是一種利用計算機視覺和機器學習技術對圖像進行分析和理解的技術。它可以幫助計算機識別和理解圖像中的對象、場景和活動。
    的頭像 發表于 07-16 10:46 ?830次閱讀

    深度學習中的時間序列分類方法

    的發展,基于深度學習的TSC方法逐漸展現出其強大的自動特征提取和分類能力。本文將從多個角度對深度學習在時間序列分類中的應用進行綜述,探討常用
    的頭像 發表于 07-09 15:54 ?707次閱讀

    計算機視覺怎么給圖像分類

    圖像分類是計算機視覺領域中的一項核心任務,其目標是將輸入的圖像自動分配到預定義的類別集合中。這一過程涉及圖像的特征提取、特征表示以及分類器的
    的頭像 發表于 07-08 17:06 ?510次閱讀

    神經分類包括哪些

    神經是神經系統的基本功能單位,它們通過電信號和化學信號進行信息傳遞和處理。神經分類非常復雜,可以根據不同的標準進行
    的頭像 發表于 07-03 11:36 ?1013次閱讀

    cnn卷積神經網絡分類有哪些

    卷積神經網絡(CNN)是一種深度學習模型,廣泛應用于圖像分類、目標檢測、語義分割等領域。本文將詳細介紹CNN在分類任務中的應用,包括基本結構、關鍵技術、常見網絡架構以及實際應用案例。
    的頭像 發表于 07-03 09:28 ?469次閱讀

    基于神經網絡的呼吸音分類算法

    出的方法與其他機器學習模型在不同情況下的性能和魯棒性進行比較。1.用于初始模型檢查的簡單噪聲二值分類實驗。2.使用個體呼吸周期作為輸入的4類異常分類。3.使用每個聲音
    發表于 05-31 12:05

    利用卷積神經網絡實現SAR目標分類的研究

    卷積神經網絡(CNN)是一種在圖像處理和計算機視覺領域廣泛應用的深度學習模型,因其能夠自動學習圖像的層次化特征表示而成為SAR目標分類的理想
    發表于 04-08 09:39 ?407次閱讀
    利用卷積神經網絡實現SAR目標<b class='flag-5'>分類</b>的研究

    如何使用Python進行圖像識別的自動學習自動訓練?

    如何使用Python進行圖像識別的自動學習自動訓練? 使用Python進行圖像識別的自動學習和自
    的頭像 發表于 01-12 16:06 ?537次閱讀

    CNN圖像分類策略

    在深度學習出現之前,自然圖像中的對象識別過程相當粗暴簡單:定義一組關鍵視覺特征(“單詞”),識別每個視覺特征在圖像中的存在頻率(“包”),然后根據這些數字對圖像
    發表于 12-25 11:36 ?277次閱讀
    CNN<b class='flag-5'>圖像</b><b class='flag-5'>分類</b>策略

    圖像標注如何提升效率?

    圖像標注是通過一定方式對圖像進行標記分類,是對數據集的圖像進行標記以訓練機器
    的頭像 發表于 12-19 08:29 ?439次閱讀
    <b class='flag-5'>圖像</b>標注如何提升效率?

    異構信號驅動下小樣本跨域軸承故障診斷的GMAML算法

    論文提出了一種通用的模型不可知學習(GMAML)方法,用于在異質信號驅動的不同工況下,進行軸承的樣本故障診斷。
    的頭像 發表于 12-06 15:07 ?1030次閱讀
    異構信號驅動下小<b class='flag-5'>樣本</b>跨域軸承故障診斷的GMAML算法