不到現場，照樣看最干貨的學術報告！嗨，大家好。這里是學術報告專欄，讀芯術小編不定期挑選并親自跑會，為大家奉獻科技領域最優秀的學術報告，為同學們記錄報告干貨，并想方設法搞到一手的PPT和現場視頻——足夠干貨，足夠新鮮！話不多說，快快看過來，希望這些優秀的青年學者、專家杰青的學術報告 ，能讓您在業余時間的知識閱讀更有價值。

人工智能論壇如今浩如煙海，有硬貨、有干貨的講座卻百里挑一。“AI未來說·青年學術論壇”系列講座由中國科學院大學主辦，承辦單位為中國科學院大學學生會，協辦單位為中國科學院計算所研究生會、網絡中心研究生會、人工智能學院學生會、化學工程學院學生會、公共政策與管理學院學生會、微電子學院學生會，百度為支持單位，讀芯術、PaperWeekly為合作自媒體。“AI未來說·青年學術論壇”第八期“深度學習”專場已于2019年8月25日下午在中科院舉行。中科院付鵬為大家帶來報告《深度學習與機器閱讀》。

付鵬，男，中國科學院信息工程研究所博士，現為中國科學院信息工程研究所助理研究員，主要從事自然語言處理、機器學習，具體包括情感/情緒分析、語義理解、機器閱讀、文本生成等，在2018全國“軍事智能-機器閱讀”挑戰賽中，獲得決賽總成績第一（1/267，獎金20萬），并且包攬了所有單項第一名，主持和參與了國家自然科學基金、國家重點研發計劃等課題，近幾年在AAAI、EMNLP、CIKM等國內外學術會議與期刊上發表學術論文10余篇。

報告內容：本次報告主要包括機器閱讀概述、傳統機器閱讀方法、深度學習方法和競賽分享四個部分。

深度學習與機器閱讀

付鵬老師先介紹了自然語言處理的概念，即研究實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理技術的發展經歷了基于規則（1990年以前）、基于統計學習（1990年~2012年）和基于深度學習（2012年至今）的方法三個階段，涉及由淺入深的四個層面，分別為形式、語義、推理和語用，當前正處于由語義向推理的發展階段。

然后引出了自然語言處理技術所面臨的難題：1）中文分詞（segmentation）困難，如“一行行行行行，一行不行行行不行”和“一位友好/的哥/譚市民”；

2）歧義（ambiguity）現象：一是結構歧義，如“今天中午吃饅頭”和“今天中午吃食堂”；二是指代歧義，如“他快抱不起兒子了，因為他太胖了”；三是語義歧義，如“她這個人真有意思（funny）”，“人們以為他們有了意思（wish）”，“我根本沒有那個意思（thought）”和“真沒意思（nonsense）”；

3）未知語言現象：一是新詞，如不明覺厲、累覺不愛和十動然拒；二是舊詞新義，如母雞、白骨精和潛水；三是新用法新結構，在口語中或部分網絡語言中，不斷出現一些“非規范的”新的語句結構，如c位出道、ORZ和熱skr人了；

4）不同語系的差異：一是屈折語，用詞的形態變化表示語法關系，如英語、法語等；二是黏著語，詞內有專門表示語法意義的附加成分，詞根或詞干與附加成分的結合不緊密，如日語、韓語、土耳其語等；三是孤立語，形態變化少，語法關系靠詞序和虛詞表示，如漢語。

接著介紹了自然語言處理的技術概覽，主要包括：1）NLP基礎技術，如詞匯表示和語義分析、短語表示和語義分析、句子表示和語義分析以及篇章表示和語義分析；2）NLP核心技術，如情感分析、信息檢索、機器翻譯、機器閱讀、問答系統、語言生成、推薦系統以及聊天和對話；3）NLP+，如智能分析、搜索引擎、商業智能和輿情分析。

進而引出了機器閱讀的主題，機器閱讀是自然語言處理領域“皇冠上的明珠”，涉及到語義理解、知識推理等多項復雜技術，極具挑戰性，該技術旨在讓AI代替人類，自動閱讀新聞報道等信息并根據問題給出答案，可應用于輿情分析和情報挖掘領域等多個場景。機器閱讀的難點挑戰主要包括：1）語義推理難，語言博大精深，如“作為失敗的典型，你真的太成功了”；2）語義關聯難，字同意不同，如“誰是特朗普的兒子”和“誰的兒子是特朗普”；3）語義表示難，分詞歧義，如“昨天/下午”和“作/天下/午”，一詞有多義，如“我愛吃蘋果”和“蘋果發布會”。

在介紹完機器閱讀的難點挑戰之后，又介紹了機器閱讀的發展歷程：TeachingMachines to Read and Comprehend（Karl Moritz Hermann et al.） → Attention-Sum Reader（Kadlec et al.） →SQuAD（Rajpurkar et al.） → Match-LSTM（Wang et al.） → R-Net（Wang et al.） →BiDAF（Minjoon Seo et al.） → QA-Net（Yu et al.） → BiDAF+self-attention + BERT。

緊接著介紹了傳統機器閱讀方法，主要包括早期系統和機器學習時代的方法。其中，在介紹早期系統時，介紹了QUALM系統（Lehnert，1977）、早期數據集（Hirschman， 1999）、Deep Read系統（Hirschman， 1999）和QUARC系統（Riloff andThelen， 2000）。在機器學習時代，機器閱讀的數據被轉化為 《文章，問題，答案》 的三元組形式，有兩個重要的數據集：1）MCTest，四選一數據集，包含660篇科幻小說；2）ProcessBank，二分類數據集，包含585個問題和200個段落，是生物類型文章，需要理解實體關系和事件。基于傳統規則方法的特點包括：1）不使用訓練數據集；2）啟發式的滑動窗口方法，計算word overlap、distance information；3）文本蘊含方法，用現有的文本蘊含系統，把（問題，答案）對轉化為一個statement；4）max-margin學習框架，使用了很多語言特征，如句法依存、semantic frames、指代消解、discourse relation和詞向量等。

隨后，以傳統機器閱讀的方法作為引入，引出了深度學習的方法。先介紹了機器閱讀的主要步驟：文本表示（將文本表示成機器能理解的符號）→ 語義匹配（尋找問題和原文句子的語義關聯） → 理解推理（對語義關聯進行加工和推理） → 結果推薦（對候選答案進行排序和輸出）。

在介紹完機器閱讀的主要步驟之后，又介紹了機器閱讀的主要數據集：1）MCTest數據集，給定一篇文章、一個問題以及四個選項，預測哪個選項是問題的答案；2）CNN/Daily Mail 數據集，給定一篇文章和一個問題，預測問題中被X替代的實體是文章中的哪個實體；3）SQuAD數據集，給定一篇文章、一個問題，預測文章中的一個區間（一個或幾個詞）作為答案；4）Quasar-T數據集，給定幾篇文章、一個問題，預測文章中的一個區間（一個或幾個詞）作為答案。

然后又講到了注意力機制，Seq2Seq模型存在兩個問題，一是定長的中間向量 c 限制了模型性能，二是輸入序列的不同部分對于輸出序列的重要性不同。對于Seq2Seq存在的問題，提出了相應的解決方案：解碼器中的每個時刻不是輸入固定的c，而是輸入不同的 ci，每個時刻的 c 自動選取與當前輸出最相關的上下文。其中，ci 為編碼器中隱狀態的加權和。

在介紹完注意力機制之后，又詳細介紹了機器閱讀模型BiDAF （ICLR 2017），該模型包括輸入部分、雙向注意力和輸出部分，其中，輸入為一篇文章X和一個問題Y，輸出為文章中每一個詞作為答案開始的概率和答案結束的概率。雙向注意力是上下文（context）和檢索（query）之間相互指導的注意力機制。

接著又進一步介紹了機器閱讀的最新進展，重點講解了兩篇文章，分別為Improving Machine Reading Comprehension with Reading Strategies （NAACL 2019） 和Adversarial Examples for Evaluating Reading Comprehension Systems （EMNLP 2017）。其中，前者是基于已有模型的改進，受閱讀策略被證明可以提高閱讀理解的水平的啟發，提出了三種閱讀策略：Backand Forth Reading，Highlighting 和 Self-Assessment，并且模型中用到了GPT （GenerativePre-trained Transformer）。后者介紹了機器閱讀的新問題-對抗閱讀，文本針對斯坦福問答數據集（SQuAD）提出一個對抗評估方案，自動生成并在段落中插入對抗語句，然后測試系統能否圍繞這一段落回答問題。這些對抗語句的目的在于干擾計算機回答系統，但并不會改變問題的正確答案，也不會對人類造成干擾。在這種對抗方案中，16個已發表模型的精確度從75%（F1數）降到了36%。當對抗系統被允許加入不符合語法的短語串，有四個模型的平均精度下降到了7%。

在介紹完最新的研究進展之后，又介紹了多文檔閱讀，多文檔閱讀的過程：問題文檔集合→ 文檔檢索模塊 → 答案抽取模塊 → 最終答案。多文檔閱讀主要存在三個難點：1）需要基于多個段落預測答案；2）與問題相似的段落干擾問題；3）遠程監督假設帶來噪音問題。然后又介紹了國內外的研究現狀，開放域問答包括單段落方案和多段落方案，其中多段落的方案又包括基于答案重排序和基于答案置信度。

接著，付鵬老師又介紹了他所在團隊提出的模型Ranking and Sampling in Open-Domain Question Answering （EMNLP 2019），該模型的特點：1）在段落選擇部分充分利用段落和問題以及段落和段落之間的信息，采用層級注意力機制和自注意力機制進行降噪；2）在訓練時采用隨機采樣→ 帶權采樣段落選擇方案，提升模型泛化能力，避免干擾；3）解決開放域問答中的噪音和干擾問題，提升系統準確率。

最后，付鵬老師介紹了他們在全國“軍事智能-機器閱讀”競賽中的參賽經歷，他所在的團隊獲得了決賽總成績第一名，并且包攬了所有單項第一名（軍事新聞、防務快訊、非密情報三個單項比賽），RougeL值高達91.39%。并介紹了競賽的任務、問題實例、數據特點以及總體的框架。

其中競賽任務的問題包括6種類型：1）事實型問題（第X艦隊指揮官是誰？）2）列表型問題（X國艦載機機型？）3）數值型問題（XX艦的排水量？）4）定義型問題（“XX一體站”的定義？）5）觀點型問題（XX對軍事智能化的指示？）6）篇章型問題（X國與X國領土爭端的進展？）。

數據的特點包括：1）文章的長度較長，經典的SQUAD數據集的最長文章的單詞數在700以下。但是該數據集文章中字符的個數普遍在幾千甚至上萬，最長的一篇還有10萬多的字符；2）標注的問答可能在文章中出現多次或者不出現，訓練數據標注存在噪音問題；3）一部分問題的答案由文中不相鄰的多句話組成，比如，列表型問題和篇章型問題可能出現答案由文中不相鄰的多句話組成，但是數目比較少。

模型的總體框架分為兩步：1）利用問題去篩選答案候選集；2）利用模型預測最終答案。總體框架的流程：數據預處理→ 答案候選集篩選 → 模型預測答案 → 后處理 → 最終答案。更多精彩內容請關注微信公眾號中的視頻分享。