? ? ? ? 在前幾部分中,我們重點分析了前處理和詞法分析過程,已經將源代碼拆解成一個個的token了。接下來,我們將分析這些token的邏輯結構是否嚴格按照C語言定義的語法規則來排布,這就是將要介紹的內容:語法分析。
? ? ? ? 還是從代碼入手分析,這樣更加生動形象。給定下面這段C代碼:
int a;
int main()
{
int b;
b = 1;
return (a + 2) - b;
}
數學家對物理學家說:“只要你能將物理問題轉化為數學問題,我就都能解決。”這段話告訴我們要學會抽象。具體而言,
- 顯然,
int a
和int b
是完全類似的,我們可以將其歸為一類。更寬泛的,除了聲明變量,也可以將函數變量的聲明int main
也歸類為同一類別,并統之為declaration
,因為它們都是一類型符int
開始的。 -
b = 1
和(a + 2) * 2 - b
都是操作聲明的變量,統稱為expression
。 -
expression
以分號結尾,表明一個具體的操作,稱為statement
。
可能有點繞,歸納起來,采用縮進表示層級關系,上面代碼可以這樣進行描述:
program
declaration
declaration --> function_definition
statement --> compound_statement
declaration
statement --> expression_statement
expression
statement --> return_statement
expression
箭頭右邊所指對應著該名字的詳細分類,我們會在后面深入研究。
? ? ? ? 通過這種方式,我們就將C語言中看似復雜多變、毫無頭緒的結構變成了一種抽象的、方便處理的形式。值得注意的是,這些劃分和教科書上面的介紹肯定有所出入,只是在參考資料的基礎上,我想按照自己的理解進行介紹,不至于按照條條框框地介紹讓人覺得枯燥無味。
? ? ? ? 其實,無論多復雜的C語言代碼,都可以將其分成三大類:表達式、語句和聲明。如果大家接受這樣一套定義規則,那么我們將依次介紹這些內容,開始語法分析的處理過程。
3.1 表達式(expression)
? ? ? ? 先來研究在上面代碼中出現的這段表達式:
(a + 2) - b --> a, 2, b
箭頭右邊的變量和具體的值,是我們所能拆分的最小單元了。并且恰好是詞法分析過程中得到的那些token,我們將其記為primary_expression
。于是,primary_expression
的組成形式為:
primary_expression : ID
| INT
其中|
表示“或者”,表示可以取任何一個類型的值。ID
代表標識符,如a
和b
,INT
是具體的數值所對應的類型,后面還會介紹的CHAR
也是這樣的。這些primary_expression
通過加減運算符號聯系起來,形成稍微復雜一點的additive_expression
。于是,括號內的部分可以表示成:
additive_expression : primary_expression + primary_expression
進一步的,如何表示(a + 2) - b
呢?如果能夠將之表示為:
additive_expression : additive_expression - primary_expression
那么,相信你已經對這樣一套流程有了初步的認識了。值得注意的是,上面的表述方法中,我們還沒有將括號納入其中,但由于括號優先級最高,又必須考慮。怎么辦呢?那就將括號內的部分打包當成最小單元,問題也就引刃而解了。從而可以更新primary_expression
的組成形式,得到:
primary_expression : ( additive_expression )
| ID
| INT
再將兩條additive_expression
合并起來:
additive_expression : primary_expression + primary_expression
| additive_expression - primary_expression
這樣就構成了表達式(a + 2) - b
的完整描述。這里面其實暗含著一種遞歸,直到我們能夠返回ID
或者INT
為止。那么對照著,下面的表達式:
((a + 1) + 2) - b
也能用上面的表示方法描述。于是乎,就達到了我們抽象問題的目的。但是,如果包含乘法,或者更加復雜一些的表達式呢?我先直接寫出完整的四則運算的描述:
primary_expression : ( additive_expression )
| CHAR
| INT
| ID
unary_expression : primary_expression
| + unary_expression
| - unary_expression
multiple_expression : unary_expression
| multiple_expression * unary_expression
| multiple_expression / unary_expression
additive_expression : multiple_expression
| additive_expression + multiple_expression
| additive_expression - multiple_expression
? ? ? ? 怎么來理解這些表達式的描述呢?舉個例子,假設有這樣一個表達式:
(3 - 2 / 2)
我們用下圖來理解這些表達式之間的關系:
? ? ? ? 此刻,相信大家一定也看明白了整個的分析過程。接下來,我們開始實現這樣一個過程。首先,定義一個類來描述這種結構。
class Parser(object):
def __init__(self, lexer):
self.lexer = lexer
self.current_token = self.lexer.get_next_token()
def eat(self, token_type):
if self.current_token.type == token_type:
self.current_token = self.lexer.get_next_token()
else:
raise Exception()
這里的eat
函數其實就是調用詞法分析中的get_next_token()
,但是增加了一個判斷,使得我們能夠按照期望的token來進行匹配,否則就會拋出異常。這樣,就形成了按照給定語法結構進行語法分析的基本框架。
? ? ? ? 對照著上文四則運算的描述,具體的實現代碼如下:
def additive_expression(self):
node = self.multiple_expression()
while self.current_token.type in (PLUS, MINUS):
token = self.current_token
self.eat(token.type)
node = BinOp(left=node, op=token.value, \
right=self.multiple_expression())
return node
def multiple_expression(self):
node = self.unary_expression()
while self.current_token.type in (MUL, DIVIDE):
token = self.current_token
self.eat(token.type)
node = BinOp(left=node, op=token.value, \
right=self.unary_expression()))
return node
def unary_expression(self):
token = self.current_token
if token.type == PLUS:
self.eat(token.type)
node = self.unary_expression()
elif token.type == MINUS:
self.eat(token.type)
node = Negative(self.unary_expression())
else:
node = self.primary_expression()
return node
def primary_expression(self):
token = self.current_token
if token.type in (INT, CHAR, ID):
self.eat(token.type)
return token.value
elif token.type == LPAREN:
self.eat(LPAREN)
node = self.additive_expression()
self.eat(RPAREN)
return node
return None
這段代碼中,類似于PLUS
這種全部由大寫字母組成的名詞就是token。而BinOp
和Negative
則是對處理得到的數據的一種組合,方便后續處理,我們會在后面詳細介紹。
? ? ? ? 有了這些內容,寫個簡單的計算器應用應該會非常簡單了。但對于C語言而言,光有這些這些基本類型還遠遠不夠,我們進一步來研究對數組和結構體等這些稍微復雜的數據類型,所組成的表達式應該如何描述。例如:
str[3]
point->x
person.id
&x
這里,處理括號的思想將不再適用,數組下標或者結構體成員都是具體的primary_expression
,我們只能增加表達式的描述內容。因此,擴展后的表達式描述如下:
unary_expression : postfix_expression
| & unary_expression
| * unary_expression
| + unary_expression
| - unary_expression
postfix_expression : primary_expression
| postfix_expression [ expression ]
| postfix_expression . ID
| postfix_expression -> ID
那么,對于具體的實現,就只需要依葫蘆畫瓢,這里就不再贅述了。
? ? ? ? 不要忘了,還有函數的使用。C語言中,調用函數的方式如下:
printf("%s", "Hello world!");
add(1, 2);
callBackCb();
于是,根據結構,繼續補充描述:
postfix_expression : primary_expression
| postfix_expression [ expression ]
| postfix_expression . ID
| postfix_expression -> ID
| ( )
| ( argument_expression_list )
argument_expression_list : primary_expression
| argument_expression_list, primary_expression
? ? ? ? 這里留下一個問題,對于C語言定義的其它運算,如邏輯運算符(&&
,||
)、關系運算符(>=
)等等又該如何處理呢?可以按照上面給定的這些描述觸類旁通。具體的細節,我們留在下一部分進行詳細介紹。
實現簡易的C語言編譯器(part 0)
實現簡易的C語言編譯器(part 1)
實現簡易的C語言編譯器(part 2)
實現簡易的C語言編譯器(part 4)
實現簡易的C語言編譯器(part 5)
實現簡易的C語言編譯器(part 6)
實現簡易的C語言編譯器(part 7)
實現簡易的C語言編譯器(part 8)
實現簡易的C語言編譯器(part 9)
實現簡易的C語言編譯器(part 10)
實現簡易的C語言編譯器(part 11)