有了前文中的積木，繼續實現一個詞法分析器就不再困難。

先回顧一下各個模塊：

然后我們試圖將他們組裝起來，因為一開始實現的都是零件（子函數）部分，本文主要介紹在main函數中運行的自動機。

還記得-1篇中的DFA嗎？

經過第0篇，以及滿足題目要求，我們最終的DFA應該是這樣：

流程大致為：

按照以上思路，經過不斷地調試完善，主函數設計為：

int main()
{
    initialize();
    string tmp;
    char c;
    while((c = getchar()) != EOF)
    {
        if(isspace(c)) // 忽略空白
            continue;


        if(isdigit(c)) // 如果是數字開頭
        {
            ungetc(c, stdin);
            cout << "DIGIT : " << num() << endl;
            continue;
        }


        char peek;
        peek = getchar(); // 一步提前量
        if((c == '+' || c == '-') && isdigit(peek)) //輸入帶符號數
        {
            ungetc(peek, stdin);
            ungetc(c, stdin);
            cout << "DIGIT : " << num() << endl;
            continue;
        }

        if(c == '/' && peek == '*') //輸入注釋
        {
            cout << "COMMENTS : /*" << comments() << endl;
            continue;
        }
        int tkn = 0;
        string s;
        if(!isalnum(c)) // 輸入c為專用符號
        {
            s += c;
            if(peek == '=') // 所定義的雙目運算符中第二個只有 = 可以偷懶；
                s += peek;
            else ungetc(peek, stdin);
            tkn = query(s);
        }
        if(!tkn){  // 若不是專用符號開頭，即為字母開頭
            ungetc(peek, stdin);
            s += c;
            while((c = getchar()) != EOF) // 讀入這一串字母
            {
                if(isspace(c)) break;
                if(isalnum(c) || c == '_')
                    s += c;
                else{
                    ungetc(c, stdin);
                    break;
                }
            }
            tkn = query(s); // 查詢token
        }
        switch (tkn) // 依據token打印
        {
        case 1:
            cout << "KEYWORD : " << s << endl;
            break;
        case 2:
            cout << "BASIC : " << s << endl;
            break;
        case 3:
            cout << "IDENTITY : " << s << endl;
            break;
        case 5:
            cout << "SYMBOL : " << s << endl;
            break;

        default:
            break;
        }


    }
    return 0;
}

測試

使用測試樣例1：

{  /* An example */
    int i,j; float x; float[100] a;
    while ( true) {
      do i = i + 1; while ( a[i] < x);
    if ( i >= j ) break;
    x = a[i];
      }
    }

輸出結果：

// line 1   {  /* An example */
SYMBOL : {
COMMENTS : /* An example */


// line 2   int i,j; float x; float[100] a;
BASIC : int
IDENTITY : i
SYMBOL : ,
IDENTITY : j
SYMBOL : ;
BASIC : float
IDENTITY : x
SYMBOL : ;
BASIC : float
SYMBOL : [
DIGIT : 100
SYMBOL : ]
IDENTITY : a
SYMBOL : ;


// line 3   while ( true) {
KEYWORD : while
SYMBOL : (
KEYWORD : true
SYMBOL : )
SYMBOL : {


// line 4  do i = i + 1; while ( a[i] < x);
KEYWORD : do
IDENTITY : i
SYMBOL : =
IDENTITY : i
SYMBOL : +
DIGIT : 1
SYMBOL : ;
KEYWORD : while
SYMBOL : (
IDENTITY : a
SYMBOL : [
IDENTITY : i
SYMBOL : ]
SYMBOL : <
IDENTITY : x
SYMBOL : )
SYMBOL : ;


// line 5   if ( i >= j ) break;
KEYWORD : if
SYMBOL : (
IDENTITY : i
SYMBOL : >=
IDENTITY : j
SYMBOL : )
KEYWORD : break
SYMBOL : ;


// line 6   x = a[i];
IDENTITY : x
SYMBOL : =
IDENTITY : a
SYMBOL : [
IDENTITY : i
SYMBOL : ]
SYMBOL : ;


// line 7   }
SYMBOL : }

// line 8   }
SYMBOL : }

可以發現輸出結果是完全正確的。

測試樣例2：測試數字

+1212.551e1589

輸出：

DIGIT : +1212.551e1589

好，到此，我們就完成了本次實驗任務，一個簡單的詞法分析器的設計，在設計過程中，我們使用到了Trie樹這一數據結構，使得代碼變得美觀了許多，同時，針對較為復雜的數字讀取行為，我們設計了一個DFA確定的有限狀態自動機完成，最終，我們在main函數中，將他們拼接起來，就形成了最后的詞法分析器，整個實驗用時半天，整體思想并不難理解，相信大家如果從頭看到此處應該邏輯會相當清晰。