NLTK自帶方法進行自然語言處理

　　NLTK進行分句

　　函數：

　　sent_tokenize（text，language=‘english’）

　　參數：

　　text ： 將要被分割的語句文本

　　language：Punkt分句程序指定模型名字，可忽略

　　返回值：

　　list類型：使用NTLK推薦分句程序得到的結果

　　示例：

　　NLTK進行分詞

　　函數：

　　word_tokenize（text，language=‘english’）

　　參數：

　　text：將要進行分詞的句子文本

　　language：Punkt分詞程序指定模型名字，可忽略

　　返回值：

　　list類型，使用NTLK推薦分詞程序得到的結果

　　示例：

　　NLTK詞性標注

　　詞性標注的結果含義可參照作者的另一篇博文：（自然語言處理文檔系列）Penn Treebank詞性標記集

　　函數：

　　pos_tag（tokens，tagset=None）

　　參數：

　　tokens：list（str）類型，將要被標注單詞的序列

　　tagset：可忽略

　　返回值：

　　list（tuple（str，str）），進行詞性標注后的結果

　　示例：

　　NLTK命名實體識別（NER）

　　函數：

　　ne_chunk（tagged_tokens，binary=False）

　　使用推薦的NER工具包進行處理，處理之前需要利用詞性標注的結果

　　參數：

　　tagged_tokens：list（tuple（str，str）），NLTK進行詞性標注的結果

　　binary：

　　返回值：

　　示例：

　　句法分析

　　nltk沒有好的parser，推薦使用stanfordparser，但是nltk有很好的樹類，該類用list實現。可以利用stanfordparser的輸出構建一棵python的句法樹。關于stanfordparser在第3章中有詳細介紹。

　　自然語言處理是非常熱門的研究領域因此每年吸引了非常多研究生。它集合了多個學科諸如語言學，心理學，計算科學和數學的優勢來研究人類語言。另外選擇 NLP 作為研究生生涯更重要的原因是大量有意思的難題都沒有固定的解決辦法。舉個例子，機器翻譯初始問題（original problem）的存在推動了該領域的發展，即使經過二十年誘人而又活躍的研究以后，這個難題依舊尚待解決。還有另外幾個前沿的 NLP 問題目前已經有大量的研究工作，其中一些列舉如下：

　　基于句法的機器翻譯：從過去的數十年到現在，絕大部分的機器翻譯都聚焦在使用統計方法通過大量語料庫來學習詞和短語的翻譯。然而，越來越多的研究者開始在研究中加入句法［10］。

　　多文本摘要：目前大量工作都是利用計算機從相近的文檔集合［8］中自動生成高度相關的摘要。這個任務被視為比單文本的摘要困難，因為多文本中冗余信息更多。

　　計算句法分析：雖然使用概率模型自動生成給定文本的句法結構由來已久，但進步空間還很大。最大的挑戰是準確的分析，當英語拿來和中文［7］、阿拉伯語比較的時候，語言特性差異很大。

　　Python 和 NLTK 使每個編程人員不需要花費大量時間在獲取資源上，直接可以接觸 NLP 任務。文本意在給任何對學習 NLP 感興趣的人提供解決這些簡單的任務例子和參考。