編者按：深度學(xué)習(xí)和人類智能存在一個(gè)顯著差異，即人類擅長(zhǎng)通過(guò)極少量的樣本識(shí)別新類別物體，而深度學(xué)習(xí)在此情況下很容易產(chǎn)生過(guò)擬合。因此，小樣本問(wèn)題成為了機(jī)器學(xué)習(xí)領(lǐng)域中重要的研究方向之一。目前已有基于度量學(xué)習(xí)、語(yǔ)義信息以及數(shù)據(jù)增強(qiáng)等多種方法，而至于大小樣本的邊界、小樣本學(xué)習(xí)的方法論等問(wèn)題還備受關(guān)注。在本文中，復(fù)旦大學(xué)付彥偉、上海科技大學(xué)何旭明、北京郵電大學(xué)馬占宇、中科院計(jì)算所王瑞平（按發(fā)言順序整理），將答疑解惑探討小樣本學(xué)習(xí)的最新進(jìn)展。本文整理自VALSE Webinar 2019第29 期Panel。

議題1

小樣本 vs 大樣本，多“小”才算小，多“大”才算大？什么樣的情況下，需要專門設(shè)計(jì)“小樣本”學(xué)習(xí)算法？小樣本學(xué)習(xí)在智能體學(xué)習(xí)過(guò)程中如何和不同大小樣本的數(shù)據(jù)融合？如何在數(shù)據(jù)積累中過(guò)渡到大樣本學(xué)習(xí)？

付彥偉：這個(gè)問(wèn)題很基礎(chǔ)也很有意思，我們其實(shí)做小樣本，一般都考慮每個(gè)類只有一個(gè)三個(gè)五個(gè)、或者十來(lái)個(gè)樣本，這種one-shot 、three-shot、five-shot情況。此外在深度學(xué)習(xí)之前，從partical learning這個(gè)角度來(lái)看其實(shí)有些問(wèn)題可以借鑒，在統(tǒng)計(jì)學(xué)，小樣本學(xué)習(xí)不叫one-shot learning，而叫做smoothing probability，也就是小樣本可能還和特征維度有關(guān)系。假設(shè)你的特征維度是D的話，當(dāng)樣本量小于logD，就算一個(gè)比較小的樣本。當(dāng)然現(xiàn)在有深度學(xué)習(xí)了，我們可能并不會(huì)從這個(gè)角度去看。

至于什么樣的情況需要專門設(shè)計(jì)小 樣本學(xué)習(xí)算法，其實(shí)這是一個(gè)很實(shí)際或者很工業(yè)的問(wèn)題，比如在醫(yī)療圖像處理中解決很罕見的病變，樣本量確實(shí)不夠，我們想去學(xué)一個(gè)分類器就只能根據(jù)這個(gè)數(shù)據(jù)去設(shè)計(jì)小樣本學(xué)習(xí)算法。

小樣本學(xué)習(xí)在智能體學(xué)習(xí)過(guò)程如何和不同大小樣本的數(shù)據(jù)融合，這其實(shí)有很多角度。比如李飛飛老師在 ICCV2003年的一篇文章，通過(guò)貝葉斯這條思路去融合；我們也可以和專家系統(tǒng)，或者通過(guò)一些專家知識(shí)融合，甚至可以和不同的領(lǐng)域，比如vocabulary inference learning領(lǐng)域，通過(guò)NLP去學(xué)習(xí)一些語(yǔ)義字典幫助小樣本學(xué)習(xí)；如何在數(shù)據(jù)積累中過(guò)渡到大樣本學(xué)習(xí)，這有一個(gè)很典型的增量學(xué)習(xí)問(wèn)題。

何旭明：從視覺概念的認(rèn)知角度來(lái)看，小樣本的“大小”也體現(xiàn)在它與其他類別之間區(qū)分度的大小。即使有些類別樣本數(shù)量比較小，如果它和其他類別相似度較高，可以用很多先驗(yàn)知識(shí)來(lái)幫助學(xué)習(xí)這些小樣本，因此也可以不算“小樣本”。如果碰到一個(gè)和其他類區(qū)別很大的類別，可能通常的學(xué)習(xí)就會(huì)變得非常困難，需要當(dāng)作小樣本看待。

如果利用一些先驗(yàn)知識(shí)能夠幫助學(xué)習(xí)小樣本類別，我覺得這種情況是可以設(shè)計(jì)相關(guān)算法的。但如果很難得到先驗(yàn)知識(shí)，那無(wú)論什么設(shè)計(jì)也學(xué)不到有用信息。

針對(duì)如何從不同大小樣本中的數(shù)據(jù)融合問(wèn)題，我認(rèn)為可以從大樣本入手開始學(xué)習(xí)，然后擴(kuò)展到小樣本。即使類別不同，如果有相關(guān)性的話，依然可以去借鑒大樣本統(tǒng)計(jì)上的一些規(guī)律來(lái)幫助小樣本學(xué)習(xí)。

最后，借鑒人類的學(xué)習(xí)過(guò)程來(lái)說(shuō)，一開始可能是小樣本，然后不斷在數(shù)據(jù)積累和反饋機(jī)制下，可以獲得更新的數(shù)據(jù)。這樣可以把視覺概念的表征不斷地細(xì)化，最后能夠自然而然地就能過(guò)渡到大樣本。

馬占宇：關(guān)于如何與不同規(guī)模大小樣本的數(shù)據(jù)融合，我覺得還有一個(gè)不平衡的學(xué)習(xí)問(wèn)題。即首先分清哪些類別樣本是小的，哪些類別是大的。這種情況下，不是簡(jiǎn)簡(jiǎn)單單真地把小樣本變大，或者是說(shuō)把大樣本增強(qiáng)，理想的狀況是能夠在數(shù)據(jù)分布不平衡的情況下，去做一個(gè)比較好的分類器。

議題2

引入知識(shí)來(lái)彌補(bǔ)小樣本的數(shù)據(jù)不足是一個(gè)較為公認(rèn)的趨勢(shì)，到底什么算是“知識(shí)”，有哪些形式？目前真正管用/好用的“知識(shí)”是什么，來(lái)自哪里？

王瑞平：現(xiàn)在模型能夠取得成功，基本上都是依賴數(shù)據(jù)驅(qū)動(dòng)。在數(shù)據(jù)不足的情況下，尤其在零樣本學(xué)習(xí)（極端情況）里面，一定要利用語(yǔ)義的知識(shí)去輔助。到底什么算是“知識(shí)”，現(xiàn)在零樣本里面可能會(huì)用一些屬性的標(biāo)注，包括一些類別在語(yǔ)義層面的相似性關(guān)系，都算比較底層的知識(shí)。從人類的認(rèn)知角度來(lái)看，相關(guān)的知識(shí)庫(kù)和應(yīng)用也可稱之為“知識(shí)”，這可能是一種更自然的方式。

那么目前真正管用或者是好用的“知識(shí)”有哪些？在零樣本和小樣本學(xué)習(xí)里面，大部分還是屬性、詞向量這種人類手工標(biāo)注的語(yǔ)義描述，其實(shí)這種知識(shí)可擴(kuò)展性比較差。我們不可能對(duì)所有類別標(biāo)注它所需要的全部知識(shí)，將來(lái)更有實(shí)踐意義的，應(yīng)該是從大量原始文本數(shù)據(jù)中進(jìn)行類別相關(guān)的語(yǔ)義挖掘和提純，然后結(jié)合手工標(biāo)注的屬性。這方面目前很大程度上仍受限于自然語(yǔ)言處理技術(shù)的發(fā)展，所以真正地用知識(shí)去彌補(bǔ)數(shù)據(jù)不足應(yīng)該是可努力的方向。

何旭明：在一些特定專業(yè)領(lǐng)域里面標(biāo)注是很困難的，比如醫(yī)學(xué)圖像分析。但是很多醫(yī)學(xué)學(xué)科已經(jīng)建立了比較完整的知識(shí)體系，因此充分利用這些專業(yè)的知識(shí)體系，可以幫助彌補(bǔ)數(shù)據(jù)匱乏的弱點(diǎn)。

付彥偉：從貝葉斯的角度，我們可以把知識(shí)當(dāng)做一個(gè)先驗(yàn)信息，把小樣本或者這些知識(shí)建模成一個(gè)分布，來(lái)幫助小樣本學(xué)習(xí)。甚至可能從圖形學(xué)模型的角度去思考，比如把一些領(lǐng)域的知識(shí)建模成一個(gè)ontology或者是一個(gè)圖形學(xué)模型。目前這方面還沒(méi)有探索得特別清楚，掌握知識(shí)其實(shí)是一個(gè)很基礎(chǔ)的問(wèn)題。

議題3

在小樣本學(xué)習(xí)的實(shí)際場(chǎng)景中，數(shù)據(jù)量缺乏會(huì)帶來(lái)domain gap(域漂移)問(wèn)題，怎么看待域漂移給小樣本學(xué)習(xí)帶來(lái)的挑戰(zhàn)？

馬占宇：我覺得域漂移和知識(shí)遷移都屬于跨域問(wèn)題，從不同域之間這個(gè)層面上來(lái)定義比較好。所以說(shuō)域漂移給小樣本學(xué)習(xí)帶來(lái)了挑戰(zhàn)，也帶來(lái)了一些好處和機(jī)會(huì)，比如我們前面提到的跨模態(tài)、多模態(tài)，可以把不同域之間的知識(shí)融合起來(lái)，最終進(jìn)行小樣本學(xué)習(xí)。

議題4

什么樣的小樣本訓(xùn)練數(shù)據(jù)集能夠產(chǎn)生較好的模型？

付彥偉：源數(shù)據(jù)和目標(biāo)數(shù)據(jù)比較相近或者相似的時(shí)候，源數(shù)據(jù)上訓(xùn)練的模型用于目標(biāo)數(shù)據(jù)的小樣本學(xué)習(xí)，效果還是比較好的，如果差得比較大的話，其實(shí)還是有很大影響的，這個(gè)其實(shí)直接就和域漂移有很大關(guān)系。我們?cè)谧鲆恍┤毕?a target="_blank">檢測(cè)時(shí)也會(huì)遇到很多類似的問(wèn)題。

何旭明：在實(shí)用場(chǎng)景里面可以依據(jù)情況來(lái)考慮樣本選擇，依據(jù)問(wèn)題賦予的靈活性分兩種情況：第一類問(wèn)題，如果類別是可以選的，那就選擇和源數(shù)據(jù)比較近的樣本；第二類，如果類別是預(yù)規(guī)定好的，可以在每個(gè)類別通過(guò)數(shù)據(jù)選擇產(chǎn)生一些比較好的數(shù)據(jù)幫助訓(xùn)練。

議題5

one-shot learning要解決的是僅有少量訓(xùn)練數(shù)據(jù)時(shí)模型的過(guò)擬合問(wèn)題么？那傳統(tǒng)解決過(guò)擬合的方法（如特征選取，正則化，提高訓(xùn)練樣本多樣性等）如何體現(xiàn)在現(xiàn)有的one-shot方法中呢？

付彥偉：之前基本就是以上的傳統(tǒng)策略。但是有了深度學(xué)習(xí)之后，我們?nèi)绻挥眠w移學(xué)習(xí)，每個(gè)類5個(gè)訓(xùn)練樣本來(lái)訓(xùn)練一個(gè)學(xué)習(xí)器，可能就要考慮特征選擇、正則化這些問(wèn)題。用深度學(xué)習(xí)的話，這個(gè)問(wèn)題應(yīng)該還是存在的，可能只是形式變了，我們采用batch normalization 或者instance normalization來(lái)進(jìn)行正則化,特征選取可能也能對(duì)應(yīng)得上。因?yàn)槲覀冊(cè)谏疃葘W(xué)習(xí)中會(huì)隱含去做這些事情，比如說(shuō)注意力機(jī)制本身也是一種特征選取。

何旭明：注意力機(jī)制實(shí)際上其實(shí)是在動(dòng)態(tài)地特征選取。正則化的作用，除了BN，其實(shí)你的網(wǎng)絡(luò)模型設(shè)計(jì)就體現(xiàn)了對(duì)模型的約束；還有模型訓(xùn)練的損失函數(shù)設(shè)計(jì)也體現(xiàn)了這點(diǎn)，比如添加額外的約束項(xiàng)。提高訓(xùn)練樣本的多樣性的話，現(xiàn)在很多的趨勢(shì)，就是做feature augmentation(特征增廣)。

議題6

機(jī)器學(xué)習(xí)（深度學(xué)習(xí)）如今依賴海量數(shù)據(jù)，樣本量過(guò)小容易過(guò)擬合，模型表達(dá)能力不足。但某些實(shí)際場(chǎng)景下樣本很難收集，應(yīng)該如何處理這些問(wèn)題，如何防止過(guò)擬合？

王瑞平：這應(yīng)該就是小樣本學(xué)習(xí)的背景，小樣本和數(shù)據(jù)不平衡問(wèn)題其實(shí)是共生的，實(shí)際生活當(dāng)中這兩個(gè)問(wèn)題是普遍存在的。從企業(yè)界的項(xiàng)目經(jīng)驗(yàn)來(lái)看，通過(guò)數(shù)據(jù)增廣、相似類別之間的知識(shí)遷移、數(shù)據(jù)合成和domain adaptation（域自適應(yīng)學(xué)習(xí)）。針對(duì)樣本類別之間的不平衡問(wèn)題，可以做數(shù)據(jù)的合成或者分類器的合成。

馬占宇：樣本量過(guò)小導(dǎo)致的過(guò)擬合不僅是小樣本學(xué)習(xí)中面臨的問(wèn)題。傳統(tǒng)機(jī)器學(xué)習(xí)里也同樣面臨這個(gè)問(wèn)題，需要結(jié)合不同場(chǎng)景具體分析。

議題7

在小樣本學(xué)習(xí)中如何考慮任務(wù)之間的相關(guān)程度？如何在新領(lǐng)域的任務(wù)中應(yīng)用小樣本學(xué)習(xí)方法？

何旭明：現(xiàn)在的很多假設(shè)任務(wù)是獨(dú)立同分布的，也就是從一個(gè)分布中采樣出獨(dú)立的任務(wù)。在這個(gè)假設(shè)下，很難去探索任務(wù)之間的相關(guān)度。在實(shí)際應(yīng)用中，這個(gè)假設(shè)是比較強(qiáng)的，很多時(shí)候任務(wù)之間的確是有相關(guān)度的。那么或許最后會(huì)變成一個(gè)類似于多任務(wù)學(xué)習(xí)的問(wèn)題設(shè)定。

議題8

零樣本學(xué)習(xí)中，輔助信息（屬性，詞向量，文本描述等）未來(lái)的發(fā)展趨勢(shì)是怎樣的？

付彥偉：無(wú)論圖像識(shí)別、自然語(yǔ)言處理還是其他領(lǐng)域，都可能會(huì)存在零樣本學(xué)習(xí)的問(wèn)題。屬性和詞向量也有很多缺點(diǎn)，比如多義性，你說(shuō)apple是apple公司還水果apple，這本身就有歧義性。

何旭明：如果利用這些輔助信息其中的內(nèi)在關(guān)聯(lián)建立起信息之間的聯(lián)系，就可能是一種有結(jié)構(gòu)的知識(shí)圖譜。換個(gè)角度，因?yàn)檫@些屬性詞向量，就是知識(shí)表達(dá)的一個(gè)具體體現(xiàn)，而背后的應(yīng)該是整個(gè)的一個(gè)知識(shí)體系。

議題9

可解釋性學(xué)習(xí)能否促進(jìn)零樣本學(xué)習(xí)的發(fā)展？

馬占宇：我先打一個(gè)比方，可能不太恰當(dāng)。在信號(hào)處理領(lǐng)域里，我們接受到的是信號(hào)，然后從中獲取信息，最后又把信息提煉成知識(shí)，這個(gè)是不同層次，不同內(nèi)涵的事情。當(dāng)然對(duì)于我們做視覺任務(wù)來(lái)說(shuō)，也許就是圖像中尋找一些顯著區(qū)域，然后在該區(qū)域搜集某些特征、目標(biāo)。因此，從這個(gè)角度講，可解釋性學(xué)習(xí)對(duì)零樣本的發(fā)展是有幫助的，但是目前如何促進(jìn)以及結(jié)合知識(shí)，我覺得還是一個(gè)比較有挑戰(zhàn)或者開放的問(wèn)題。

王瑞平：模型的可解釋性肯定能促進(jìn)零樣本學(xué)習(xí)的發(fā)展，零樣本學(xué)習(xí)之所以能做，就是因?yàn)槟軌蛉ソ㈩悇e之間的關(guān)聯(lián)，把所謂的已知類的語(yǔ)義信息遷移到未知類別上面。

類別通過(guò)什么關(guān)聯(lián)的呢？其實(shí)類別背后的根本是一些概念的組合，比如有沒(méi)有四條腿、皮毛、何種顏色等概念。那么如果能夠從已有分類模型中學(xué)習(xí)出來(lái)樣本和類別間的因果關(guān)系，并知道類別之間的差異何在，以及模型與概念的對(duì)應(yīng)關(guān)系，試圖去解決零樣本和小樣本之間的問(wèn)題，就能追溯到可遷移的根本所在。

付彥偉：深度學(xué)習(xí)的可解釋性可能更側(cè)重于特征的描述，零樣本學(xué)習(xí)最開始的一些工作，其實(shí)一直都是以可解釋性這個(gè)思路去做，就是把X映射到一個(gè)Y，Y是H的空間，后來(lái)我們又通過(guò)這種語(yǔ)義的可解釋性來(lái)做零樣本學(xué)習(xí)。如果單純地只是深度學(xué)習(xí)特征的可解釋性，就相當(dāng)于怎么去更好地提取X，由X去構(gòu)造零樣本學(xué)習(xí).。

小結(jié)

正所謂“巧婦難為無(wú)米之炊”，在使用深度學(xué)習(xí)這一工具解決實(shí)際問(wèn)題時(shí)，難免會(huì)遇到樣本不足的情況。而受人類快速學(xué)習(xí)能力的啟發(fā)，研究人員希望機(jī)器學(xué)習(xí)模型能夠在習(xí)得一定類別數(shù)據(jù)后，只需少量樣本就可以學(xué)習(xí)新的類別，這就是小樣本學(xué)習(xí)（Few-shot Learning）要解決的問(wèn)題。

“樣本量與特征維度的大小關(guān)系“、”樣本與其他類別的區(qū)分度”等因素，可能和大小樣本的界定有緊密關(guān)聯(lián)。小樣本學(xué)習(xí)可以同專家系統(tǒng)、自然語(yǔ)言處理等領(lǐng)域融合，并借助大樣本上的數(shù)據(jù)積累和一些反饋機(jī)制自然過(guò)渡到大樣本學(xué)習(xí)。雖然小樣本學(xué)習(xí)是人類學(xué)習(xí)的一個(gè)特長(zhǎng)，但即便是人類，其本質(zhì)上的學(xué)習(xí)也是基于大樣本的，它包括漫長(zhǎng)的進(jìn)化過(guò)程和多模態(tài)共生信息的影響，人類的“舉一反三”依舊是基于大數(shù)據(jù)和知識(shí)的轉(zhuǎn)化問(wèn)題。因此，通過(guò)引入知識(shí)來(lái)彌補(bǔ)小樣本的數(shù)據(jù)不足是一個(gè)較為公認(rèn)的趨勢(shì)。人類手工標(biāo)注或者提取自大數(shù)據(jù)的語(yǔ)義描述、特定領(lǐng)域的知識(shí)體系都是可利用的“知識(shí)”。在實(shí)際應(yīng)用中，小樣本和數(shù)據(jù)不平衡往往是共生的，通過(guò)數(shù)據(jù)增廣、相似類別之間的知識(shí)遷移、數(shù)據(jù)合成、結(jié)構(gòu)化的知識(shí)圖譜、域自適應(yīng)學(xué)習(xí)、借助模型的可解性等策略可提升小樣本學(xué)習(xí)性能。