前兩天刷arxiv論文，又刷到一篇通用信息抽取框架，今天帶給大家，全名為《Universal Information Extraction as Unified Semantic Matching》，即 基于統一語義匹配的通用信息抽取框架-USM ，狀態為accepted by AAAI2023。

paper地址：https://arxiv.org/pdf/2301.03282.pdf

介紹

信息提取（Information Extraction，IE）需要提取句子中的實體、關系、事件等，其不同的任務具有多樣的抽取目標和異質的機構，因此，傳統的方法需要針對特定的任務進行模型設計和數據標注，使得難以推廣到新的模式中，極大限制了IE系統的使用。

2022年《Unified Structure Generation for Universal Information Extraction》一文，提出了 通用信息提?。║IE）的概念 ，旨在使用一個通用模型來解決多個信息提取任務，提出了一種Seq2Seq的生成模型，以結構化模式提示器+文本內容作為輸出，直接生成結構化抽取語言，最終獲取信息提取內容。

然而，由于Seq2Seq的生成模型的 黑盒特性 ，導致無法判斷跨任務或跨模式的遷移在什么情況下會成功or失敗。因此，本論文提出了統一語義匹配框架（Universal Information Extraction，USM）對各種信息提取任務進行統一建模， 明確模型在遷移過程的有效性、健壯性和可解釋性 。如圖1所示，IE任務中多樣化的任務和抽取目標，可以解耦為以下兩個操作：

• （1） Structuring ，即結構化，從文本中抽取目標結構中標簽未知的基本子結構。例如：抽取“Monet”、“Paris”、“France”等文本或者“ Monet-Paris”、“France-Paris”等文本pair對。
• （2） ** Conceptualizing** ，即概念化，它將抽取文本和文本pair對與目標語義標簽進行對應。例如：“Monet”與“person”標簽進行對應，“Monet”-"Paris"與“birth place”標簽進行對應。

并且在給定目標抽取模式時，可以通過結構化操作，重新建立抽取目標結構與文本的語義信息；通過概念化操作，將抽取文本或文本pair與目標語義標簽進行匹配，完成信息抽取任務。

USM框架基于上述發現的規則，將結構化和概念化轉化為一系列有向Token-Linking操作，聯合建模文本與模式，統一抽取文本或文本pair，并根據需要可控生成目標結構，實現在不同的目標結構和語義模式之間進行共享抽取的功能。

基于有向Token-Linking的統一語義匹配

如圖2所示，USM框架以任意抽取標簽模式和原始文本作為輸入，根據給定的模式直接輸出結構。

Schema-Text Joint Embedding

為了捕捉標簽模式和文本之間的關聯，USM框架學習模式標簽和文本標記的聯合上下文嵌入，即將抽取提示實例化為token序列，并與文本序列進行拼接，最后計算標簽-文本聯合嵌入，具體如下，

其中，為Transformer的Encoder結構，為掩碼矩陣，用于確定一對Token之間是否可以相互作用。

Token-Token Linking for Structuring

在得到標簽-文本聯合上下文嵌入后，USM框架使用Token-Token鏈接（TTL）操作抽取所有有效的文本片段。

• Utterance ：輸入文本中的一段連續Token序列，例如：實體文本“Monet”、事件觸發詞“born in”等。如圖3所示，通過片段的頭尾連接（H2T），抽取一個文本片段。例如，“Monet”是自身到自身，“born in”是“born”到“in”。
• Association pair ：輸入文本中的相關文本pair對，例如，具有主客體關系的“Monet”-“Paris”文本對，具有觸發詞-要素關系的“born in”-“Paris”文本對。如圖3所示，通過頭頭連接（H2H）和尾尾連接（T2T），抽取文本對。

對于上述三種Token到Token鏈接(H2T, H2H, T2T)操作，USMk框架分別對所有有效的token-pair候選集中token-to-token 鏈接進行評分，對于每個token-pair，鏈接分數如下：

其中，為輸出維度的前饋層，為旋轉位置嵌入，可以有效地將相對位置信息注入到對應的結構中。

Label-Token Linking for Utterance Conceptualizing

在得到標簽嵌入和文本嵌入后，USM框架使用 label-token鏈接(LTL)操作將有效的文本進行概念化。

LTL操作的輸出是標簽名詞和文本內容的pair對，例如："person"- “Monet”、"country"-“Paris”等。有兩種類型的概念化：

• 實體的類型 ，即為每一個文本分配標簽類型，例如，實體“Monet”的類型為person。
• 客體的謂詞 ，即將謂詞類型賦給每個候選客體，例如，客體“Paris”的謂語詞為birth place。其中，實體的類型和客體的謂詞在概念化時采用相同的LT操作，使得兩種標簽語義之間相互加強。并按照頭尾片段抽取風格，使用label到head(L2H)和label到tail(L2T)來定義L2T鏈路操作，例如，客體的謂詞“Paris”-“birth place”，將標簽“birth place”的頭“birth”與客體“Paris”鏈接，將標簽“birth place”尾頭“ place”與客體“Paris”鏈接。計算LTL的得分，如下：

Token-Label Linking for Pairing Conceptualizing

為了概念化文本pair對，USM框架使用 Token-Label鏈接（TLL）將文本pair對的主體鏈接到標簽上。也就是，TLL操作用head到label(H2L)和tail到label(T2L)操作連接了三元組中主體和謂語詞。例如，主體“Monet”的head“Monet”鏈接標簽“birth place”的head“birth”，主體“Monet”的tail“Monet”鏈接標簽“birth place”的tail“place”。計算TLL的得分，如下：

Schema-constraint Decoding for Structure Composing

USM框架采用模式約束解碼算法來解碼最終結構，通過統一的token-linking操作提取給定的文本結構。如圖3所示，USM框架，首先解碼由TTL操作提取的實體文本和主客體文本，例如：“Monet”，“Paris”，“France”，“Monet”-“Pairs”，“France”-“Pairs”；然后通過LTL操作對標簽名詞和文本內容的pair對進行解碼，例如：“person”-“Monet”，“country”-“France”，“birth place”-“Paris”，“capital”-“Paris”；最后利用TLL操作對標簽及文本對進行解碼，例如：“Monet”-“birth place”，“France”-“capital”。

由于以上三種鏈接操作互不影響，因此，在進行模型推理過程中，三種操作是高度并行的。

最后，可以根據從輸入類型的模式定義，將實體類型country和person與關系類型 birth place和capital分離出來。根據TLL操作的結果“Monet”-“birth place”，“France”-“capital”，可以得到完整的三元組結構“Monet”-“birth place”-Paris和“France”-“capital”-“Paris”。

Learning from Heterogeneous Supervision

本文利用異構監督資源來學習統一令牌鏈接的通用結構和概念化能力，通過語言化的標簽表示和統一的token鏈接，將異構的監督數據統一為進行預訓練。

Pre-training

USM框架對共享語義表示中的標簽模式和文本進行統一編碼，并使用統一的token-linking對文本中的信息進行結構化和概念化。幫助為了學習常見的結構和概念化能力，本文收集了三種不同的監督數據用于USM的預訓練。

• 任務數據 ：來自信息抽取任務的標注數據，即數據樣本都有一個金標準。
• 遠程監督數據 ：數據樣本來自文本和知識庫對齊。
• 間接監督數據 ：數據樣本來自其他相關的NLP任務，主要使用機器閱讀理解的數據，將（問題-文檔-答案）實例中問題作為標簽模式，文檔作為輸入文本，答案作為提及。

Learning function

在訓練過程中，由于token-linking占比僅為所有token鏈接候選集合的1%，因此在模型優化過程中，標簽的極端稀疏性是要重點解決的問題。

主要采用類別不平衡損失函數，

其中，表示USM框架中的鏈接類型，表示鏈接對，表示非鏈接對，表示鏈接操作的分數。

實驗

監督實驗

在4個任務的13個數據集上與其他sota模型進行了對比實驗，其中AVE-unify表示非重疊數據集的平均指標，AVE-total表示所有數據集的平均指標，如表1所示，USM框架達到了sota的效果，并在AVE-total上優于各任務sota方法1.3，及時在不使用預訓練模型的情況下，用Roberta初始化的USM框架也表現出了較好的效果，說明統一token-linking具有較強的可遷移性和泛化能力。

采用異構數據的預訓練的USM框架相比于Roberta初始化的USM框架在所有數據集上平均提高了0.74，說明異構預訓練為信息抽取的結構化和概念化提供了更好的基礎。

在所有任務上進行微調的USM-Unify模型也表現出，說明USM框架可以通過單一的多任務模型解決大量信息抽取任務。

Zero-shot實驗

在不同領域的9個數據集上進行了Zero-shot實驗，如表2所示，遠程監督數據和間接監督數據在預訓練過程中起到很重要的作用。通過表3，可以看出，在330M參數下，就可以比137B參數量的GPT3模型效果更優。

Few-shot實驗

在四個信息任務上進行了Few-shot實驗，如表4所示，USM框架在少量數據下要比UIE效果更優，并且要好于使用Roberta進行初始化的模型。當將標簽文本轉化成固定符號表示時，效果變差，說明語言表達標簽模式并不是無意義的，在語義表征過程中，它起到了決定性的作用。

總結

該論文通過三種統一的Token-Linking操作，實現信息抽取任務的統一模型，讓我眼前一亮，相較于Seq2Seq模型來說，該方法的可解釋性更強。