實現簡易的C語言編譯器(part 3)

? ? ? ? 在前幾部分中,我們重點分析了前處理和詞法分析過程,已經將源代碼拆解成一個個的token了。接下來,我們將分析這些token的邏輯結構是否嚴格按照C語言定義的語法規則來排布,這就是將要介紹的內容:語法分析
? ? ? ? 還是從代碼入手分析,這樣更加生動形象。給定下面這段C代碼:

int a;
int main()
{
    int b;
    b = 1;
    return (a + 2)  - b;
}

數學家對物理學家說:“只要你能將物理問題轉化為數學問題,我就都能解決。”這段話告訴我們要學會抽象。具體而言,

  • 顯然,int aint b是完全類似的,我們可以將其歸為一類。更寬泛的,除了聲明變量,也可以將函數變量的聲明int main也歸類為同一類別,并統之為declaration,因為它們都是一類型符int開始的。
  • b = 1(a + 2) * 2 - b都是操作聲明的變量,統稱為expression
  • expression以分號結尾,表明一個具體的操作,稱為statement
    可能有點繞,歸納起來,采用縮進表示層級關系,上面代碼可以這樣進行描述:
program
    declaration
    declaration  -->  function_definition
        statement  --> compound_statement
            declaration
            statement  --> expression_statement
                expression
            statement  --> return_statement
                expression

箭頭右邊所指對應著該名字的詳細分類,我們會在后面深入研究。
? ? ? ? 通過這種方式,我們就將C語言中看似復雜多變、毫無頭緒的結構變成了一種抽象的、方便處理的形式。值得注意的是,這些劃分和教科書上面的介紹肯定有所出入,只是在參考資料的基礎上,我想按照自己的理解進行介紹,不至于按照條條框框地介紹讓人覺得枯燥無味。
? ? ? ? 其實,無論多復雜的C語言代碼,都可以將其分成三大類:表達式、語句和聲明。如果大家接受這樣一套定義規則,那么我們將依次介紹這些內容,開始語法分析的處理過程。

3.1 表達式(expression)

? ? ? ? 先來研究在上面代碼中出現的這段表達式:

(a + 2) - b  --> a, 2, b

箭頭右邊的變量和具體的值,是我們所能拆分的最小單元了。并且恰好是詞法分析過程中得到的那些token,我們將其記為primary_expression。于是,primary_expression的組成形式為:

primary_expression : ID
                   | INT

其中|表示“或者”,表示可以取任何一個類型的值。ID代表標識符,如abINT是具體的數值所對應的類型,后面還會介紹的CHAR也是這樣的。這些primary_expression通過加減運算符號聯系起來,形成稍微復雜一點的additive_expression。于是,括號內的部分可以表示成:

additive_expression : primary_expression + primary_expression

進一步的,如何表示(a + 2) - b呢?如果能夠將之表示為:

additive_expression : additive_expression - primary_expression

那么,相信你已經對這樣一套流程有了初步的認識了。值得注意的是,上面的表述方法中,我們還沒有將括號納入其中,但由于括號優先級最高,又必須考慮。怎么辦呢?那就將括號內的部分打包當成最小單元,問題也就引刃而解了。從而可以更新primary_expression的組成形式,得到:

primary_expression : ( additive_expression )
                   | ID
                   | INT

再將兩條additive_expression合并起來:

additive_expression : primary_expression + primary_expression
                    | additive_expression - primary_expression

這樣就構成了表達式(a + 2) - b的完整描述。這里面其實暗含著一種遞歸,直到我們能夠返回ID或者INT為止。那么對照著,下面的表達式:

((a + 1) + 2) - b

也能用上面的表示方法描述。于是乎,就達到了我們抽象問題的目的。但是,如果包含乘法,或者更加復雜一些的表達式呢?我先直接寫出完整的四則運算的描述:

primary_expression : ( additive_expression )
                   | CHAR
                   | INT
                   | ID

unary_expression : primary_expression
                 | + unary_expression
                 | - unary_expression

multiple_expression : unary_expression
                    | multiple_expression * unary_expression
                    | multiple_expression / unary_expression

additive_expression : multiple_expression
                    | additive_expression + multiple_expression
                    | additive_expression - multiple_expression

? ? ? ? 怎么來理解這些表達式的描述呢?舉個例子,假設有這樣一個表達式:

(3 - 2 / 2)

我們用下圖來理解這些表達式之間的關系:


圖3-1. 表達式:(3 - 2 / 2)圖示

? ? ? ? 此刻,相信大家一定也看明白了整個的分析過程。接下來,我們開始實現這樣一個過程。首先,定義一個類來描述這種結構。

class Parser(object):
    def __init__(self, lexer):
        self.lexer = lexer
        self.current_token = self.lexer.get_next_token()

    def eat(self, token_type):
        if self.current_token.type == token_type:
            self.current_token = self.lexer.get_next_token()
        else:
            raise Exception()

這里的eat函數其實就是調用詞法分析中的get_next_token(),但是增加了一個判斷,使得我們能夠按照期望的token來進行匹配,否則就會拋出異常。這樣,就形成了按照給定語法結構進行語法分析的基本框架。
? ? ? ? 對照著上文四則運算的描述,具體的實現代碼如下:

    def additive_expression(self):
        node = self.multiple_expression()

        while self.current_token.type in (PLUS, MINUS):
            token = self.current_token
            self.eat(token.type)

            node = BinOp(left=node, op=token.value, \ 
                         right=self.multiple_expression())

        return node

    def multiple_expression(self):
        node = self.unary_expression()

        while self.current_token.type in (MUL, DIVIDE):
            token = self.current_token
            self.eat(token.type)

            node = BinOp(left=node, op=token.value, \ 
                         right=self.unary_expression()))

        return node

    def unary_expression(self):
        token = self.current_token
        if token.type == PLUS:
            self.eat(token.type)
            node = self.unary_expression()
        elif token.type == MINUS:
            self.eat(token.type)
            node = Negative(self.unary_expression())
        else:
            node = self.primary_expression()

        return node

    def primary_expression(self):
        token = self.current_token
        if token.type in (INT, CHAR, ID):
            self.eat(token.type)
            return token.value
        elif token.type == LPAREN:
            self.eat(LPAREN)
            node = self.additive_expression()
            self.eat(RPAREN)
            return node

        return None

這段代碼中,類似于PLUS這種全部由大寫字母組成的名詞就是token。而BinOpNegative則是對處理得到的數據的一種組合,方便后續處理,我們會在后面詳細介紹。
? ? ? ? 有了這些內容,寫個簡單的計算器應用應該會非常簡單了。但對于C語言而言,光有這些這些基本類型還遠遠不夠,我們進一步來研究對數組和結構體等這些稍微復雜的數據類型,所組成的表達式應該如何描述。例如:

str[3]
point->x
person.id
&x 

這里,處理括號的思想將不再適用,數組下標或者結構體成員都是具體的primary_expression,我們只能增加表達式的描述內容。因此,擴展后的表達式描述如下:

unary_expression : postfix_expression
                 | & unary_expression
                 | * unary_expression
                 | + unary_expression
                 | - unary_expression
                
postfix_expression : primary_expression
                   | postfix_expression [ expression ]
                   | postfix_expression . ID
                   | postfix_expression -> ID

那么,對于具體的實現,就只需要依葫蘆畫瓢,這里就不再贅述了。
? ? ? ? 不要忘了,還有函數的使用。C語言中,調用函數的方式如下:

printf("%s", "Hello world!");
add(1, 2);
callBackCb();

于是,根據結構,繼續補充描述:

postfix_expression : primary_expression
                   | postfix_expression [ expression ]
                   | postfix_expression . ID
                   | postfix_expression -> ID
                   | ( )
                   | ( argument_expression_list )

argument_expression_list : primary_expression
                         | argument_expression_list, primary_expression

? ? ? ? 這里留下一個問題,對于C語言定義的其它運算,如邏輯運算符(&&||)、關系運算符(>=)等等又該如何處理呢?可以按照上面給定的這些描述觸類旁通。具體的細節,我們留在下一部分進行詳細介紹。

實現簡易的C語言編譯器(part 0)
實現簡易的C語言編譯器(part 1)
實現簡易的C語言編譯器(part 2)
實現簡易的C語言編譯器(part 4)
實現簡易的C語言編譯器(part 5)
實現簡易的C語言編譯器(part 6)
實現簡易的C語言編譯器(part 7)
實現簡易的C語言編譯器(part 8)
實現簡易的C語言編譯器(part 9)
實現簡易的C語言編譯器(part 10)
實現簡易的C語言編譯器(part 11)

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,250評論 6 530
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 97,923評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,041評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,475評論 1 308
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,253評論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,801評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,882評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,023評論 0 285
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,530評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,494評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,639評論 1 366
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,177評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,890評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,289評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,552評論 1 281
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,242評論 3 389
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,626評論 2 370

推薦閱讀更多精彩內容