01
—
方法介紹
Few-shot NER的三階段:Train、Adapt、Recognize,即在source域訓練,在target域的support上微調,在target域的query上測試。
如上圖,左邊(1-3)表示的是原型的loss1(訓練目標為各個原型分散分布),右邊(4-7)表示的是span的representation獲取,中間(8)是一個多層FFN(為了使得原型表示和span表示最終映射到同一個向量空間),中間(9-10)則是計算原型和span在同一個空間的loss2(為了使得實體span更靠近原型表示)
02
—
和過往工作相比
1、使得Adapt階段不只是通過對support集中的實體詞表示平均得到實體原型表示,而是能夠進行finetune(文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.)
2、過往的原型網絡的訓練方法使得最終的原型表示較接近,本文通過構造loss1(上一段提到的)使得原型表示分散開
03
—
實驗結果
這里僅挑選附錄部分的FEW-NERD實驗結果
從實驗結果來看,在INTRA上效果較好,在INTER上不如ESD。其中INTRA是指source和target之間的實體的粗粒度類型無交集,INTER則在粗粒度上有交集(細粒度上無交集)。(另外,2022年還有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition,這里沒有進行對比)
04
—
消融實驗
1、使用token-level
2、缺少loss1(把原型打散的loss,方法介紹中有說)
3、使用cosine similarity而不是Euclidean distance來衡量span-prototype相似度
-
網絡
+關注
關注
14文章
7517瀏覽量
88627 -
Target
+關注
關注
0文章
13瀏覽量
8455
原文標題:COLING2022 | 少樣本NER:分散分布原型增強的實體級原型網絡
文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論