自然語言處理是計算機科學領域與人工智能領域中的一個重要方向。它研究能實現人與計算機之間用自然語言進行有效通信的各種理論和方法。自然語言處理是一門融語言學、計算機科學、數學于一體的科學。因此，這一領域的研究將涉及自然語言，即人們日常使用的語言，所以它與語言學的研究有著密切的聯系，但又有重要的區別。自然語言處理并不是一般地研究自然語言，而在于研制能有效地實現自然語言通信的計算機系統，特別是其中的軟件系統。因而它是計算機科學的一部分。

　　自然語言處理（NLP）是計算機科學，人工智能，語言學關注計算機和人類（自然）語言之間的相互作用的領域。

　　總結自然語言處理發展的曲折歷史可以看出，基于規則的理性主義方法和基于統計的經驗主義方法各有千秋，因此，我們應當用科學的態度來分析它們的優點和缺點。

　　我們認為，基于規則的理性主義方法的優點是：

　　* 基于規則的理性主義方法中的規則主要是語言學規則，這些規則的形式描述能力和形式生成能力都很強，在自然語言處理中有很好的應用價值。

　　* 基于規則的理性主義方法可以有效地處理句法分析中的長距離依存關系（long-distance dependencies）等困難問題，如句子中長距離的主語和謂語動詞之間的一致關系（subject-verb agreement）問題，wh 移位（wh-movement）問題。

　　* 基于規則的理性主義方法通常都是明白易懂的，表達得很清晰，描述得很明確，很多語言事實都可以使用語言模型的結構和組成成分直接地、明顯地表示出來。

　　* 基于規則的理性主義方法在本質上是沒有方向性的，使用這樣的方法研制出來的語言模型，既可以應用于分析，也可以應用于生成，這樣，同樣的一個語言模型就可以雙向使用。

　　* 基于規則的理性主義方法可以在語言知識的各個平面上使用，可以在語言的不同維度上得到多維的應用。這種方法不僅可以在語音和形態的研究中使用，而且，在句法、語義、語用、篇章的分析中也大顯身手。

　　* 基于規則的理性主義方法與計算機科學中提出的一些高效算法是兼容的，例如，計算機算法分析中使用Earley 算法（1970 年提出）和Marcus 算法（1978 年提出）都可以作為基于規則的理性主義方法在自然語言處理中得到有效的使用。

　　基于規則的理性主義方法的缺點是：

　　* 基于規則的理性主義方法研制的語言模型一般都比較脆弱，魯棒性很差，一些與語言模型稍微偏離的非本質性的錯誤，往往會使得整個的語言模型無法正常地工作，甚至導致嚴重的后果。不過，近來已經研制出一些魯棒的、靈活的剖析技術，這些技術能夠使基于規則的剖析系統在剖析失敗中得到恢復。

　　* 使用基于規則的理性主義方法來研制自然語言處理系統的時候，往往需要語言學家、語音學家和各種專家的配合工作，進行知識密集的研究，研究工作的強度很大；基于規則的語言模型不能通過機器學習的方法自動地獲得，也無法使用計算機自動地進行泛化。

　　* 使用基于規則的理性主義方法設計的自然語言處理系統的針對性都比較強，很難進行進一步的升級。例如，斯羅肯（Slocum）在1981 年曾經指出，LIFER 自然語言知識處理系統在經過兩年的研發之后，已經變得非常之復雜和龐大，以至于這個系統原來的設計人很難再對它進行一點點的改動。對于這個系統的稍微改動將會引起整個連續的“水波效應”（ripple effect），以至于“牽一發而動全身”，而這樣的副作用是無法避免和消除的。

　　* 基于規則的理性主義方法在實際的使用場合其表現往往不如基于統計的經驗主義方法那樣好。因為基于統計的經驗主義方法可以根據實際訓練數據的情況不斷地優化，而基于規則的理性主義方法很難根據實際的數據進行調整。基于規則的方法很難模擬語言中局部的約束關系，例如，單詞的優先關系對于詞類標注是非常有用的，但是基于規則的理性主義方法很難模擬這種優先關系。

　　不過，盡管基于規則的理性主義方法有這樣的或那樣的不足，這種方法終究是自然語言處理中研究得最為深入的技術，它仍然是非常有價值和非常強有力的技術，我們決不能忽視這種方法。事實證明，基于規則的理性主義方法的算法具有普適性，不會由于語種的不同而失去效應，這些算法不僅適用于英語、法語、德語等西方語言，也適用于漢語、日語、韓國語等東方語言。在一些領域針對性很強的應用中，在一些需要豐富的語言學知識支持的系統中，特別是在需要處理長距離依存關系的自然語言處理系統中，基于規則的理性主義方法是必不可少的。

　　我們認為，基于統計的經驗主義方法的優點是：

　　* 使用基于統計的經驗主義方法來訓練語言數據，從訓練的語言數據中自動地或半自動地獲取語言的統計知識，可以有效地建立語言的統計模型。這種方法在文字和語音的自動處理中效果良好，在句法自動分析和詞義排歧中也初露鋒芒。

　　* 基于統計的經驗主義方法的效果在很大的程度上依賴于訓練語言數據的規模，訓練的語言數據越多，基于統計的經驗主義方法的效果就越好。在統計機器翻譯中，語料庫的規模，特別是用來訓練語言模型的目標語言語料庫的規模，對于系統性能的提高，起著舉足輕重的作用。因此，可以通過擴大語料庫規模的辦法來不斷提高自然語言處理系統的性能。

　　* 基于統計的經驗主義方法很容易與基于規則的理性主義方法結合起來，從而處理語言中形形色色的約束條件問題，使自然語言處理系統的效果不斷地得到改善。

　　* 基于統計的經驗主義方法很適合用來模擬那些有細微差別的、不精確的、模糊的概念（如“很少、很多、若干”等），而這些概念，在傳統語言學中需要使用模糊邏輯（fuzzy logic）才能處理。

　　基于統計的經驗主義方法的缺點是：

　　* 使用基于統計的經驗主義方法研制的自然語言處理系統，其運行時間是與統計模式中所包含的符號類別的多少成比例線性地增長的，不論在訓練模型的分類中還是在測試模型的分類中，情況都是如此。因此，如果統計模式中的符號類別數量增加，系統的運行效率會明顯地降低。

　　* 在當前語料庫技術的條件下，要使用基于統計的經驗主義方法為某個特殊的應用領域獲取訓練數據，還是一件費時費力的工作，而且很難避免出錯。基于統計的經驗主義方法的效果與語料庫的規模、代表性、正確性以及加工深度都有密切的關系，可以說，用來訓練數據的語料庫的質量在很大的程度上決定了基于統計的經驗主義方法的效果。

　　* 基于統計的經驗主義方法很容易出現數據稀疏的問題，隨著訓練語料庫規模的增大，數據稀疏的問題會越來越嚴重，這個問題需要使用各種平滑（smoothing）技術來解決。