專家解讀GPT 2.0 VS BERT!GPT 2.0到底做了什么

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個之前我在介紹Bert模型的時候介紹過，過程參考上圖，簡述如下：GPT 1.0采取預訓練+Fine...

2019-02-18 標簽：語言模型GPTnlp 9971 0

GPT2.0究竟是做什么的？有哪些優勢和不足？未來發展趨勢如何？

在談GPT 2.0之前，先回顧下它哥GPT 1.0，這個之前我在介紹Bert模型的時候介紹過，過程參考上圖，簡述如下：GPT 1.0采取預訓練+Fine...

2019-02-18 標簽：語言模型GPTnlp 7920 0

深度分析NLP中的注意力機制

注意力機制越發頻繁的出現在文獻中，因此對注意力機制的學習、掌握與應用顯得十分重要。本文便對注意力機制做了較為全面的綜述。

2019-02-17 標簽：自然語言NLP 3832 0

終于有了！大規模中文NLP語料庫！

基于#2和#3，我們會在測試集上做測試，并報告測試集上的準確率；只提供了#1和#2的隊伍，驗證集上的成績依然可以被顯示出來，但會被標記為未驗證。

2019-02-14 標簽：自然語言處理nlp 15.5萬 0

如何利用20萬條客戶咨詢消息，打造一款功能定制化的自動聊天應答機器人？

集群與意圖：這里需要對這兩個概念作一個區分。集群是一組具有相似語義的句子。比如可以確定10個句子，內容似乎都是關于購買房產的。但是因為這是一種無監督的機...

2019-01-25 標簽：微軟機器人nlp 2904 0

NLP技術為什么這么難落地其中有什么困難

AI 很火，但是 AI 的門檻也很高，普通的開發者想要搭上這波 AI 紅利依然困難。近期，人工智能公司推出了新一代智能 Bot 開放平臺，它整合了小i機...

2019-02-03 標簽：機器人AINLP 4116 0

回顧2018自然語言處理NLP最全的應用與合作

2018年見證了 NLP 許多新的應用發展。Elvis Saravia 是計算語言學專家，也是2019 計算語言學會年度大會北美分部的項目委員之一。

2019-01-13 標簽：阿里云NLP 4724 0

探析自然語言處理中的深度遷移學習

展示幾種最先進的通用句子嵌入編碼器，特別是在遷移學習任務的少量數據上與 Word embedding 模型相比的情況下，它們往往會給出令人驚訝的良好性能。

2018-12-13 標簽：深度學習nlp 3077 0

為何說Bert是近年來NLP重大進展的集大成者？

這么做有幾個好處，首先，如果手頭任務 C 的訓練集合數據量較少的話，現階段的好用的 CNN 比如 Resnet/Densenet/Inception 等...

2018-11-21 標簽：圖像神經元NLP 1.1萬 0

NLP-Progress庫NLP的最新數據集、論文和代碼

方向是自然語言處理的同學們有福啦，為了跟蹤自然語言處理(NLP)的進展，有大量仁人志士在 Github 上維護了一個名為 NLP-Progress 的庫...

2018-11-17 標簽：代碼數據集NLP 2540 0

BERT的官方代碼終于來了

預訓練（Pre-training）的成本是相當昂貴的（需要4到16個Cloud TPU訓練4天），但是對于每種語言來說都只需訓練一次（目前的模型僅限英語...

2018-11-05 標簽：谷歌代碼NLP 1.3萬 0

NLP領域取得最重大突破！BERT模型開啟了NLP的新時代！

BERT 提出一種新的預訓練目標：遮蔽語言模型（masked language model，MLM），來克服上文提到的單向性局限。MLM 的靈感來自 C...

2018-10-18 標簽：編碼器NLP 4539 0

自然語言處理研究的基本問題及發展趨勢

自然語言處理（NLP）是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。隨著深度學習在圖...

2018-09-21 標簽：機器學習NLP 8546 0

用NLP技術分析了一位出名卻也具有爭議的嘻哈歌手——Drake創作的歌詞

有兩種將 LDA 模型進行可視化的方法。第一個是通過寫一個函數，輸出為每個主題中最突出的單詞。這個結果似乎很有意思，但它只能提供了少量的信息。例如下圖中...

2018-10-04 標簽：神經網絡算法NLP 4799 0

困擾NLP領域的這三座大山究竟是什么？

曾經被視為科幻的場景現在變為了現實，但為了維持真正的人機關系，機器必須能夠與人進行更直觀、理解上下文和自然的對話--這仍然是一個挑戰。我致力于研究NLP...

2018-09-05 標簽：智能機器人NLP 4367 0