中文抽詞在中文自然語言處理中是最基礎的工作。本文提出了一種無詞典的t-score 和二分相結合的抽詞算法。它首先對原始文本進行預處理，利用噪音詞的輔助信息來做初始切分，經過處理后一部分詞被抽取出來，存入結果集。接著利用本文的抽詞算法來進行二次抽詞，本算法應用了N-Gram 的思想，經過實驗證明，該算法不但抽詞速度快，而且抽取出的詞相對長度大，維護了中文語言的完整性，為進一步進行語義分析和索引構建打下了良好的基礎。
關鍵字：無詞典；t-score；二分法；快速抽詞
文本信息在人類的日常生活中起到舉足輕重的作用，它是人們傳遞和接收信息的一種最廣泛的形式。近年來，隨著Internet技術與規模的不斷發展，網絡上的各種信息資源也隨之迅速膨脹，其中很大一部分是以文本形式表示的。中文文本信息處理如文本分類[1]、機器翻譯、自動文摘、信息檢索等絕大部分需要以詞為基本單位。
中文與西文最大的區別就是：西文詞與詞之間用空格分開，因而詞與詞的界限是非常明顯的；而中文詞與詞之間沒有明顯的劃分界限，并且詞的長度也是不定的。這就大大增加了中文自然語言處理的難度，同時分詞研究是任何基于中文信息研究的第一步工作。
目前基于中文的分詞方法大致分為兩類：基于統計和基于規則[2]。其中大多數算法是基于一個提前構造好的詞庫來進行匹配，因此詞典的覆蓋率成為影響這類算法效率的一個關鍵因素[3]。然而由于漢語本身的靈活性，以及各種新詞的不斷涌現，要構造出一個完整的覆蓋各個領域的通用詞庫是一件不容易的事情。
因此，本文將研究一種基于無詞典的抽詞方法，這種方法擴展了分詞算法的應用領域，同時與文獻[4]相比，該算法不是基于逐字掃描，所以大大提高了分詞的效率。通過實驗證明該算法的抽詞效率、準確率和可接收率更高，同時能減少分詞算法的復雜度。本文首先介紹如何對輸入文本進行預處理，其次介紹如何利用t-score 和二分相結合算法來對預處理的字串進行抽詞，最后給出實驗結果，并對現在和未來的工作加以總結。