前言

隨著大模型（GPT3，Instruction GPT，ChatGPT）的橫空出世，如何更高效地提示大模型也成了學術界與工業界的關注，因此 In-context learning 的方法在 NLP 領域十分火熱。 ? 從時間線上看，它的演變歷程大約是從 Prompt learning（2021年初） 到 Demonstration learning（2021年底）再到 In-cotnext learning（2022年初），但從方法原理上，他們卻有很多相似之處。 ? 本文對一篇有代表性的 in-context learning 論文：Rethinking the Role of Demonstrations: What Makes In-Context Learning Work？進行閱讀，之后我也會做其他 ICL 論文的閱讀筆記。 ? ? ? ?

什么是In-Context Learning

In Context Learning（ICL）的關鍵思想是從類比中學習。上圖給出了一個描述語言模型如何使用 ICL 進行決策的例子。首先，ICL 需要一些示例來形成一個演示上下文。這些示例通常是用自然語言模板編寫的。然后 ICL 將查詢的問題（即你需要預測標簽的 input）和一個上下文演示（一些相關的 cases）連接在一起，形成帶有提示的輸入，并將其輸入到語言模型中進行預測。 ? 值得注意的是，與需要使用反向梯度更新模型參數的訓練階段的監督學習不同，ICL 不需要參數更新，并直接對預先訓練好的語言模型進行預測（這是與 prompt，傳統 demonstration learning 不同的地方，ICL 不需要在下游 P-tuning 或 Fine-tuning）。我們希望該模型學習隱藏在演示中的模式，并據此做出正確的預測。 ? ? ?

論文分析

Rethinking the Role of Demonstrations: What Makes In-Context Learning Work？中我們已經發現 Demonstration，ICL 與大規模語言模型結合（LMs）在零樣本條件下的許多任務上取得了很好的效果，但人們對它如何工作以及演示的哪些方面有助于最終任務的執行知之甚少。本文主要以實驗為主，探究以上影響 ICL 的因素。 ? 實驗設置 ? 作者采用 12 個模型進行了實驗。我們包括 6 種語言模型（表 1），所有這些模型都是僅限解碼器的 dense LM。LMs 的大小從 774M 到 175B 不等。 ? ?

對于每個模型，作者采用了兩種應用方式，即 direct 和 channel： ? ?

Direct：直接計算給定 input x 條件下，label y 的概率 P(y|x)。 ? Channel：與上面恰好相反，給定 y 的條件下計算 x 的概率 P(x,y)∝P(x|y）。 ? 作者在如下數據集上進行實驗，包括情感分析，段落檢測，自然語言推理，仇恨言語檢測，問答，句子補全等任務。 ? ?

結論1：ICL中Ground Truth信息無關緊要

No Demos：LMs 直接進行零樣本預測，無提示 ? Demos w gold：依賴于 K 個標注的 examples 進行提示，進行預測 ? Demos w random labels：抽樣 K 個 examples 提示，但樣本 labels 在標簽集中隨機采樣，而非 groundtruth。 ? ?

我們發現，用隨機標簽替換黃金標簽只會輕微影響性能。這一趨勢在幾乎所有的模型上都是一致的：模型看到的性能下降在 0-5% 的絕對范圍內。在多選擇任務中（平均 1.7%）替換標簽的影響小于在分類任務中（2.6% 的絕對標簽）。 ? 這一結果表明，地面真實值輸入標簽對并不是實現性能提高的必要條件。這是違反直覺的，因為正確的配對訓練數據在典型的監督訓練中是至關重要的——它通知模型執行下游任務所需的期望輸入-標簽對應。盡管如此，這些模型在下游任務上確實取得了非常重要的性能。 ? 作者在以下 3 個維度上進一步做了消融實驗：正確演示占總的百分比（下圖1）與演示樣本數量 K（下圖2），演示的模板樣式（下圖3）。 ?

可以得到相似的結論，在演示正確與否影響并不大。 ? ? ?

結論2：ICL的性能收益主要來自獨立規范的輸入空間和標簽空間，以及正確一致的演示格式

作者分別從以下四個維度探究 In-Context Learning 效果增益的影響。 ? 1. The input-label mapping：即每個輸入 xi 是否與正確的標簽 yi 配對

2. The distribution of the input text：即 x1...xk 的分布是否一致

3. The label space：y1...yk 所覆蓋的標簽空間

4. The format：使用輸入標簽配對作為格式。

輸入文本分布實驗： ? 下圖中，青綠色的柱子為用（從外部語料中）隨機采樣的句子替換輸入句子的設置。可以看到，模型表現明顯下降。因此，in-context learning 中，演示中的分布內輸入極大地有助于提高性能。這可能是因為已 IND（in-distribution）文本的條件使任務更接近于語言建模，因為 LM 在此期間總是以 IND 文本為條件進行推理標簽。 ? ?

標簽空間實驗： ? 下圖中，青綠色的柱子為用隨機英語詞匯替代展示樣本中的標簽。可以看到，模型表現明顯下降。因此，in-context learning 中，標簽空間的一致性顯著有助于提高性能。 ?

演示格式實驗： ? 下圖中，分別用 labels only（深紫）和 no labels（深綠）來探索演示模式的差異對模型表現的影響。可以看到，模型相對于上面兩圖的 OOD setting 而言，都有了進一步的下降。這可以表明 ICL 中保持輸入-標簽對的格式是關鍵的。 ?

有意思的討論

作者還進行了個有意思的討論，即模型是否在 Test 階段學習到了知識？ ? 作者認為如果我們對學習進行嚴格的定義，即學習在訓練數據中給出的輸入標簽對，那么 lm 在測試時不學習新的任務。然而，學習一項新任務可以更廣泛地解釋：它可能包括適應特定的輸入和標簽分布以及演示的格式，并最終更準確地做出預測。有了這個學習的定義，該模型確實可以從演示中學習任務。我們的實驗表明，該模型確實利用了演示的各個方面，并實現了性能的提高。

總結

本文從多個角度探究了演示是如何讓 In-context learning 在不同的任務中產生性能增益的，而且隨著 fine-tune 階段的黑盒化，很多文章也提出 fine-tune 階段可能讓模型喪失了泛化性，那么 ICL 這種不 fine tune 的方法既節省時間與資源開銷，且能提升效果，應該會在大模型林立的時代被人關注，并迅速火起來。

編輯：黃飛

?