精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

Few-shot NER的三階段

深度學習自然語言處理 ? 來源:深度學習自然語言處理 ? 作者:深度學習自然語言 ? 2022-08-24 16:12 ? 次閱讀

01

方法介紹


Few-shot NER的三階段:Train、Adapt、Recognize,即在source域訓練,在target域的support上微調,在target域的query上測試。

baafda2a-22c5-11ed-ba43-dac502259ad0.png

如上圖,左邊(1-3)表示的是原型的loss1(訓練目標為各個原型分散分布),右邊(4-7)表示的是span的representation獲取,中間(8)是一個多層FFN(為了使得原型表示和span表示最終映射到同一個向量空間),中間(9-10)則是計算原型和span在同一個空間的loss2(為了使得實體span更靠近原型表示)

02

和過往工作相比


1、使得Adapt階段不只是通過對support集中的實體詞表示平均得到實體原型表示,而是能夠進行finetune(文中提到Ma et al. (2022) claim that the finetuning method is far more effective in using the limited information in support sets.)

2、過往的原型網絡的訓練方法使得最終的原型表示較接近,本文通過構造loss1(上一段提到的)使得原型表示分散開

03

實驗結果

這里僅挑選附錄部分的FEW-NERD實驗結果

bac556ca-22c5-11ed-ba43-dac502259ad0.png

從實驗結果來看,在INTRA上效果較好,在INTER上不如ESD。其中INTRA是指source和target之間的實體的粗粒度類型無交集,INTER則在粗粒度上有交集(細粒度上無交集)。(另外,2022年還有一篇SOTA文章Decomposed metalearning for few-shot named entity recognition,這里沒有進行對比)

04

消融實驗

1、使用token-level

2、缺少loss1(把原型打散的loss,方法介紹中有說)

3、使用cosine similarity而不是Euclidean distance來衡量span-prototype相似度

bad9b7dc-22c5-11ed-ba43-dac502259ad0.png

審核編輯:彭靜
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 網絡
    +關注

    關注

    14

    文章

    7517

    瀏覽量

    88627
  • Target
    +關注

    關注

    0

    文章

    13

    瀏覽量

    8455

原文標題:COLING2022 | 少樣本NER:分散分布原型增強的實體級原型網絡

文章出處:【微信號:zenRRan,微信公眾號:深度學習自然語言處理】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    基于將 CLIP 用于下游few-shot圖像分類的方案

    對比性圖像語言預訓練模型(CLIP)在近期展現出了強大的視覺領域遷移能力,可以在一個全新的下游數據集上進行 zero-shot 圖像識別。
    的頭像 發表于 09-27 09:46 ?5048次閱讀

    CDMA_協議測試規范_第三階段(CDG3)

    CDMA_協議測試規范_第三階段(CDG3)
    發表于 11-03 09:13

    關于蓄電池的三階段充電疑點

    三段式充電:第一個階段叫恒流階段(即主充),第二個階段叫恒壓階段(即均充),第
    發表于 07-07 22:21

    三階段充電器的關鍵參數疑點

    最近在研究蓄電池的充電 看了一些資料學習三階段充電。三階段充電:恒流 恒壓 浮充其中恒流階段充電器的輸出電壓是怎樣的?恒壓階段充電器的輸出電流是怎樣的?浮充
    發表于 01-14 23:25

    中國聯通召開學習實踐活動第三階段工作會議

    中國聯通召開學習實踐活動第三階段工作會議 中國聯通于6月9日召開“深入學習實踐科學發展觀活動第三階段工作視頻會議”,常小兵同志傳達了中央領導及國資
    發表于 06-15 09:55 ?492次閱讀

    中芯國際將在2019年量產14納米FinFET,并勾勒28納米三階段藍圖

    在28納米制程上,中芯也提出三階段的規劃藍圖。趙海軍指出,第一階段的polySion制程已經量產,第二階段是第一代的HKMG制程(中芯稱為HKC制程)已經在今年第2季開始產出,目標是28納米突破10%營收,而第
    發表于 11-17 14:10 ?1794次閱讀

    5G第三階段測試規劃詳解

    目前,我國5G技術研發試驗第三階段測試已經進入關鍵期,IMT-2020(5G)推進組即將于9月通信展上發布中國5G技術研發試驗的第三階段測試結果。
    發表于 09-25 08:49 ?3174次閱讀

    五大設備商的5G三階段測試進展對比

    另外備受關注的是,五大系統級設備商華為、中興、愛立信、諾基亞和中國信科集團的三階段測試結果也隨之公布,此外,星也作為第六家系統設備商新加入到三階段NSA測試中。
    發表于 10-28 07:38 ?5532次閱讀

    我國5G完成第三階段測試 離5G商用又近了一步

    隨著2018年第三階段測試結果公布,5G第三階段工作計劃迎來新的里程碑。回顧第三階段室內測試內容,徐菲表示,主要測試物理層基本功能,RRC協議基本功能、物理信道、鏈路自適應與調度。
    發表于 10-08 15:26 ?1259次閱讀

    華為完成中國5G技術研發試驗第三階段測試 刷新業界紀錄

    1月23日,IMT-2020(5G)推進組在北京召開5G技術研發試驗第三階段總結暨第二屆綻放杯5G應用征集大賽啟動會,并發布了第三階段測試成果。
    發表于 05-04 17:03 ?986次閱讀

    京東方投34億元建12英寸OLED微顯示器件生產線,分三階段

    京東方今日發布公告稱,公司擬投資建設12英寸OLED微顯示器件生產線項目,項目總投資為34億元,分三階段實施。項目第一階段預計于 2021 年點亮,第二階段于 2022 年點亮,第三階段
    的頭像 發表于 12-27 11:14 ?3140次閱讀

    介紹兩個few-shot NER中的challenge

    此部分著重介紹了兩個few-shot NER中的challenge:limited information challenge和knowledge mismatch challenge。前者主要是指
    的頭像 發表于 08-24 10:01 ?828次閱讀

    邁向多模態AGI之開放世界目標檢測

    OVD的基礎概念:OVD的使用主要涉及到 few-shot 和 zero-shot兩大類場景,few-shot是指有少量人工標注訓練樣本的目標類別,zero-shot則是指不存在任何人
    的頭像 發表于 06-15 16:08 ?726次閱讀
    邁向多模態AGI之開放世界目標檢測

    邁向F5.5G,華為發布三階段全光目標網架構

    在UBBF 2023期間,華為光產品線總裁靳玉志發表了題為“將F5.5G帶入現實,邁向智能世界的關鍵里程碑”主題演講,首次提出三階段建網理念,指明視頻驅動百兆建網、體驗驅動千兆建網和智能驅動萬兆建網
    的頭像 發表于 10-17 17:01 ?985次閱讀

    基于顯式證據推理的few-shot關系抽取CoT

    最近,上下文學習策略已被證明在沒有訓練的情況下顯示出顯著的結果。很少有研究利用上下文學習進行zero-shot信息提取。不幸的是,推理的證據在思維鏈提示的構建過程中沒有被考慮或隱式建模。
    的頭像 發表于 11-20 17:44 ?820次閱讀
    基于顯式證據推理的<b class='flag-5'>few-shot</b>關系抽取CoT