編譯原理實驗二：Bison

實驗要求

1.了解Bision基礎知識，如何將文法產生式轉換為Bison語句

2.閱讀/src/common/SyntaxTree.c，對應頭文件 /include/SyntaxTree.h，理解分析樹生成的過程。

3.了解Bison與Flex的協同工作過程，理解pass_node函數并改寫lab1代碼。了解yylval工作原理。

4.補全 src/parser/syntax_analyzer.y 文件和lexical_analyzer.l文件

實驗難點

1.Bison的使用

Bison是一個語法分析器的生成工具，用于生成語法分析器。Bison可以將LALR文法轉換可編譯的c代碼。Bison文件的擴展名為.y，在Bison文件中給出LALR文法以及一些分析動作，編譯就可以產生一個語法分析器。

Bison文件以.y結尾，與Lex文件的編寫規則類似，由%%區分的三部分構成：

%{ /* 這部分代碼會被原樣拷貝到生成的 .c 文件的開頭 */ #include <stdio.h> int yylex(void); void yyerror(const char *s); %}/*一些指令，如用%start指定起始符號，%token定義token*/ %start reimu %token REIMU%% /*解析規則*/ 產生式 {動作代碼}%% /*輔助函數，會被復制到生成的.c文件的末尾*/

Bison需要一個yylex來獲取下一個詞法單元，還需要一個yyerror提供報錯。定義主函數，調用yyparse()，就可以讓語法分析器工作。

在語法分析過程中，語法分析樹的葉子節點是一個具體的語義值，該值的類型是YYSTYPE，在Bison中用%union指明。不同的節點對應著不同的終結符，可能為不同的類型，因此union中可以包含不同的數據類型。可以指明一個終結符或是非終結符的類型，以便后續的使用。可以使用%type <>或%token <>指明類型。其中%token是在聲明詞法單元名的同時指明類型，聲明的token會由Bison導出到最終的.h文件中，讓詞法分析器也可以直接使用。

%token <num> NUMBER /*聲明詞法單元名，并在<>中指明類型*/ %type <typex> expr /*指明類型*/ ... %union{char op;double num; }

下面說明語法分析時的動作怎么編寫。以一個邊進行語法分析邊按照語義執行的計算器為例，識別到加法語句的動作為：

E→E+E {E=E1+E2}

在Bison中的實現：

term : term ADDOP factor{switch $2 {case '+': $$ = $1 + $3; break;case '-': $$ = $1 - $3; break;}}

其中$$表示當前節點，$1,$2,$3表示產生式的成分，也是當前節點的子節點。由于采用自底向上分析(LALR)文法，構建語法樹是推導的過程，這些子節點是已經解析的，當前節點則是規約產生的。使用節點union的哪個類型操作，是已經用<>在開頭的%token和%type中指明的。

實際的編譯器中，語法分析相應的動作通常是建立抽象語法樹，進行語義分析，或是直接產生中間或目標代碼。在本實驗中，動作為自底向上構建語法分析樹。

2.Bison與Flex的協同工作

Bison需要一個yylex來完成詞法分析，這部分的工作是詞法分析器完成的。詞法分析器不僅要將詞素識別為詞法單元并返回詞法單元值，還要返回詞法單元的屬性。這是通過yylval完成的。yylval是使用Bison生成的.c文件中聲明的一個全局的變量，類型為YYSTYPE，即在Bison文件中%union聲明的類型，使用這個類型將屬性值傳遞。進行詞法分析時，只要將屬性值存入yylval，語法分析器就可以從yylval獲取識別到的詞法單元的屬性值。

在實驗中，yylval僅包含一個語法分析樹的節點指針。節點中包含一個節點名。對于語法分析樹的葉子節點，這個節點名就是詞法單元的值，對于非葉子節點，這個節點名為語法成分名。在以下分析語法分析樹的生成過程中，分析了節點及分析樹是如何構造的。

3.分析樹的生成過程

分析樹的相關數據結構和方法定義在/include/SyntaxTree.h文件中，分析樹的節點記錄了父節點，子節點的指針，以及子節點數和節點名信息，相關的方法包括生成新的節點，添加子節點，創建語法樹等。

//語法分析樹的節點 struct _syntax_tree_node {struct _syntax_tree_node * parent;struct _syntax_tree_node * children[10];int children_num;char name[SYNTAX_TREE_NODE_NAME_MAX]; }; typedef struct _syntax_tree_node syntax_tree_node; //相關函數 syntax_tree_node * new_anon_syntax_tree_node(); //創建新節點 syntax_tree_node * new_syntax_tree_node(const char * name); int syntax_tree_add_child(syntax_tree_node * parent, syntax_tree_node * child); //添加子節點 void del_syntax_tree_node(syntax_tree_node * node, int recursive); //刪除節點 syntax_tree* new_syntax_tree(); //創建語法分析樹 void del_syntax_tree(syntax_tree * tree); //刪除分析樹 void print_syntax_tree(FILE * fout, syntax_tree * tree); //輸出分析樹

每個終結符都對應著一個葉子節點，這個葉子節點在詞法分析時就可以產生。在自底向上的分析過程中，首先產生的是葉子節點，在用產生式進行規約時向上構建語法分析樹。葉子節點的產生在詞法分析器中的pass_node()函數中實現，創建一個新的節點，并將其指針賦值給yylval，節點名為其成分(非終結符名或終結符名)，這樣語法分析器就可以使用該節點構造語法分析樹。

//生成節點并存入yylval傳遞給語法分析器 void pass_node(char *text){yylval.node = new_syntax_tree_node(text); } //識別詞法單元時調用pass_node \+ { pos_start = pos_end; pos_end += 1; pass_node(yytext); return ADD; }

詞法分析完成了葉子節點的產生，剩下的工作就由語法分析來完成了。構建的過程就是在每使用一個產生式進行規約時，建立一個新的節點表示當前產生式的非終結符，然后將產生式中的成分，也就是子節點的指針存入這個新節點中。當最后使用起始產生式規約時，產生的新節點就是語法分析樹的根節點，就完成了向上構建語法分析樹的工作。實驗在Bison的.y文件中，已經給出了創建新節點并建立節點關系的函數，為node()函數，參數為產生式的非終結符名，產生式成分個數(也即子節點個數)，子節點的指針。

//產生一個語法分析樹新節點的函數 syntax_tree_node *node(const char *node_name, int children_num, ...); //應用該函數構造語法分析樹，根節點的構造 program : declaration-list { $$ = node("program", 1, $1); gt->root = $$; }

實驗設計

1.詞法分析部分

完善詞法分析部分，即./src/parser/lexical_analyzer.l文件。只需要在識別動作中添加pass_node(yytext)產生詞法單元葉子節點，通過yylval傳遞給語法分析器。對于注釋，換行符和空格，不需要添加到語法分析樹當中，因此創建節點和返回值，如果讀到了就更新lines與pos，保證出錯時可以定位，然后進行下一個詞法單元的識別就可以了。

%%\+ { pos_start = pos_end; pos_end += 1; pass_node(yytext); return ADD; } \- {pos_start = pos_end; pos_end++; pass_node(yytext); return SUB;} \* {pos_start = pos_end; pos_end++; pass_node(yytext); return MUL;} \/ {pos_start = pos_end; pos_end++; pass_node(yytext); return DIV;} \< {pos_start = pos_end; pos_end++; pass_node(yytext); return LT;} "<=" {pos_start = pos_end; pos_end+=2; pass_node(yytext); return LTE;} \> {pos_start = pos_end; pos_end++; pass_node(yytext); return GT;} ">=" {pos_start = pos_end; pos_end+=2; pass_node(yytext); return GTE;} "==" {pos_start = pos_end; pos_end+=2; pass_node(yytext); return EQ;} "!=" {pos_start = pos_end; pos_end+=2; pass_node(yytext); return NEQ;} \= {pos_start = pos_end; pos_end++; pass_node(yytext); return ASSIN;} \; {pos_start = pos_end; pos_end++; pass_node(yytext); return SEMICOLON;} \, {pos_start = pos_end; pos_end++; pass_node(yytext); return COMMA;} \( {pos_start = pos_end; pos_end++; pass_node(yytext); return LPARENTHESE;} \) {pos_start = pos_end; pos_end++; pass_node(yytext); return RPARENTHESE;} \[ {pos_start = pos_end; pos_end++; pass_node(yytext); return LBRACKET;} \] {pos_start = pos_end; pos_end++; pass_node(yytext); return RBRACKET;} \{ {pos_start = pos_end; pos_end++; pass_node(yytext); return LBRACE;} \} {pos_start = pos_end; pos_end++; pass_node(yytext); return RBRACE;} else {pos_start = pos_end; pos_end+=4; pass_node(yytext); return ELSE;} if {pos_start = pos_end; pos_end+=2; pass_node(yytext); return IF;} int {pos_start = pos_end; pos_end+=3; pass_node(yytext); return INT;} float {pos_start = pos_end; pos_end+=5; pass_node(yytext); return FLOAT;} return {pos_start = pos_end; pos_end+=6; pass_node(yytext); return RETURN;} void {pos_start = pos_end; pos_end+=4; pass_node(yytext); return VOID;} while {pos_start = pos_end; pos_end+=5; pass_node(yytext); return WHILE;} [a-zA-Z]+ {pos_start = pos_end; pos_end+=strlen(yytext); pass_node(yytext); return IDENTIFIER;} [a-zA-Z] {pos_start = pos_end; pos_end++; pass_node(yytext); return LETTER;} [0-9]+ {pos_start = pos_end; pos_end+=strlen(yytext); pass_node(yytext); return INTEGER;} [0-9]+\.|[0-9]*\.[0-9]+ {pos_start = pos_end; pos_end+=strlen(yytext); pass_node(yytext); return FLOATPOINT;} "[]" {pos_start = pos_end; pos_end+=2; pass_node(yytext); return ARRAY;} \n {lines++;pos_end = 1;} "/*"([^*]|\*+[^*/])*\*+"/" {for(int i=0;i<strlen(yytext);i++){if(yytext[i]=='\n') {lines++;pos_end = 1; //pos_start由pos_end得到，這里就不需要置1了}else pos_end++;} } [" "|\t] {pos_start = pos_end; pos_end+=strlen(yytext);} . {pos_start = pos_end; pos_end+=strlen(yytext);printf("lexical analyze error at line %d pos %d\n",lines,pos_start);}%%

2.語法分析部分

完善詞法分析部分，即./src/parser/lexical_analyzer.l文件。首先完成yylval的定義，在union中只含有一個節點指針。

%union {syntax_tree_node *node; }

接下來進行終結符(詞法單元)的聲明和非終結符的類型聲明，類型都是語法分析樹的節點指針，其中終結符名要和詞法分析部分中的token一致，非終結符名和Cminus-f的語法規則中一致。聲明如下：

%start program %token <node> ADD SUB MUL DIV %token <node> LT LTE GT GTE EQ NEQ ASSIN %token <node> SEMICOLON COMMA LPARENTHESE RPARENTHESE LBRACKET RBRACKET LBRACE RBRACE %token <node> ELSE IF INT FLOAT RETURN VOID WHILE IDENTIFIER LETTER INTEGER FLOATPOINT ARRAY %type <node> type-specifier relop addop mulop %type <node> declaration-list declaration var-declaration fun-declaration local-declarations %type <node> compound-stmt statement-list statement expression-stmt iteration-stmt selection-stmt return-stmt %type <node> simple-expression expression var additive-expression term factor integer float call %type <node> params param-list param args arg-list program

最后補充語法規則的部分，規則按照給出的Cminus-f的語法編寫，動作則是調用node()函數構造語法分析樹的節點，參數為子節點個數和使用$n表示的子節點的指針，當產生式為空輸入時，參數為0，子節點為空串。

program : declaration-list { $$ = node("program", 1, $1); gt->root = $$; } ; declaration-list : declaration-list declaration { $$ = node("declaration-list", 2, $1, $2); }| declaration { $$ = node("declaration-list", 1, $1); }; declaration : var-declaration { $$ = node("declaration", 1, $1); }| fun-declaration { $$ = node("declaration", 1, $1); }; var-declaration : type-specifier IDENTIFIER SEMICOLON { $$ = node("var-declaration", 3, $1, $2, $3); }| type-specifier IDENTIFIER LBRACKET INTEGER RBRACKET SEMICOLON { $$ = node("var-declaration", 6, $1, $2, $3, $4, $5, $6); }; type-specifier : INT { $$ = node("type-specifier", 1, $1); }| FLOAT { $$ = node("type-specifier", 1, $1); }| VOID { $$ = node("type-specifier", 1, $1); }; fun-declaration : type-specifier IDENTIFIER LPARENTHESE params RPARENTHESE compound-stmt { $$ = node("fun-declaration", 6, $1, $2, $3, $4, $5, $6); } ; params : param-list { $$ = node("params", 1, $1); }| VOID { $$ = node("params", 1, $1); }; param-list : param-list COMMA param { $$ = node("param-list", 3, $1, $2, $3); }| param { $$ = node("param-list", 1, $1); }; param : type-specifier IDENTIFIER { $$ = node("param", 2, $1, $2); }| type-specifier IDENTIFIER ARRAY { $$ = node("param", 3, $1, $2, $3); }; compound-stmt : LBRACE local-declarations statement-list RBRACE { $$ = node("compound-stmt", 4, $1, $2, $3, $4); } ; local-declarations : { $$ = node("local-declarations", 0); }| local-declarations var-declaration { $$ = node("local-declarations", 2, $1, $2); }; statement-list : { $$ = node("statement-list", 0); }| statement-list statement { $$ = node("statement-list", 2, $1, $2); }; statement : expression-stmt { $$ = node("statement", 1, $1); }| compound-stmt { $$ = node("statement", 1, $1); }| selection-stmt { $$ = node("statement", 1, $1); }| iteration-stmt { $$ = node("statement", 1, $1); }| return-stmt { $$ = node("statement", 1, $1); }; expression-stmt : expression SEMICOLON { $$ = node("expression-stmt", 2, $1, $2); }| SEMICOLON { $$ = node("expression-stmt", 1, $1); }; selection-stmt : IF LPARENTHESE expression RPARENTHESE statement { $$ = node("selection-stmt", 5, $1, $2, $3, $4, $5); }| IF LPARENTHESE expression RPARENTHESE statement ELSE statement { $$ = node("selection-stmt", 7, $1, $2, $3, $4, $5, $6, $7); }; iteration-stmt : WHILE LPARENTHESE expression RPARENTHESE statement { $$ = node("iteration-stmt", 5, $1, $2, $3, $4, $5); } ; return-stmt : RETURN SEMICOLON { $$ = node("return-stmt", 2, $1, $2); }| RETURN expression SEMICOLON { $$ = node("return-stmt", 3, $1, $2, $3); }; expression : var ASSIN expression { $$ = node("expression", 3, $1, $2, $3); }| simple-expression { $$ = node("expression", 1, $1); }; var : IDENTIFIER { $$ = node("var", 1, $1); }| IDENTIFIER LBRACKET expression RBRACKET { $$ = node("var", 4, $1, $2, $3, $4); }; simple-expression : additive-expression relop additive-expression { $$ = node("simple-expression", 3, $1, $2, $3); }| additive-expression { $$ = node("simple-expression", 1, $1); }; relop : LTE { $$ = node("relop", 1, $1); }| LT { $$ = node("relop", 1, $1); }| GT { $$ = node("relop", 1, $1); }| GTE { $$ = node("relop", 1, $1); }| EQ { $$ = node("relop", 1, $1); }| NEQ { $$ = node("relop", 1, $1); }; additive-expression : additive-expression addop term { $$ = node("additive-expression", 3, $1, $2, $3); }| term { $$ = node("additive-expression", 1, $1); }; addop : ADD { $$ = node("addop", 1, $1); }| SUB { $$ = node("addop", 1, $1); }; term : term mulop factor { $$ = node("term", 3, $1, $2, $3); }| factor { $$ = node("term", 1, $1); }; mulop : MUL { $$ = node("mulop", 1, $1); }| DIV { $$ = node("mulop", 1, $1); }; factor : LPARENTHESE expression RPARENTHESE { $$ = node("factor", 3, $1, $2, $3); }| var { $$ = node("factor", 1, $1); }| call { $$ = node("factor", 1, $1); }| integer { $$ = node("factor", 1, $1); }| float { $$ = node("factor", 1, $1); }; integer : INTEGER { $$ = node("integer", 1, $1); } ; float : FLOATPOINT { $$ = node("float", 1, $1); } ; call : IDENTIFIER LPARENTHESE args RPARENTHESE { $$ = node("call", 4, $1, $2, $3, $4); } ; args : { $$ = node("args", 0); }| arg-list { $$ = node("args", 1, $1); }; arg-list : arg-list COMMA expression { $$ = node("arg-list", 3, $1, $2, $3); }| expression { $$ = node("arg-list", 1, $1); };

完成了以上的補充后，語法分析和詞法分析就應該都可以正常進行了。嘗試編譯時提示缺少yyin的聲明，在語法分析函數parse中使用了yyin來進行讀入，yyin是詞法分析Flex產生的變量，這里需要引入，因此在開頭補充引入該文件指針變量。

extern FILE *yyin;

實驗結果驗證

1.給出的測試樣例

編譯成功后執行命令./tests/lab2/test_syntax.sh easy和./tests/lab2/test_syntax.sh normal生成語法分析樹。

diff命令驗證結果是否正確。

2.自行編寫的測試樣例

編寫一個cminus-f程序進行語法分析，產生語法分析樹。

int main(void){int i;int a[10];int j;i=0;j=10;quicksort(a,i,j);return 0; } void quicksort(int a[],int l, int r){int p;if(l<r){p = partition(a,l,r);quicksort(a,l,p-1);quicksort(a,l,p+1);} } int partition(int a[],int l,int r){int temp;temp = a[l];while(l<r){while(temp<=a[r]){r = r-1;if(l==r){a[l] = temp;return l;}}a[l] = a[r];while(temp>=a[l]){l = l+1;if(l==r){a[l] = temp;return l;}}} }

沒有語法錯誤，相應的語法分析樹也是正確的。部分結果如下：

編寫一個存在語法錯誤的程序，cminus語法中變量不可以在一個聲明語句聲明多個同類型變量。

int func(int a[], int n){int i,sum;i = n;sum = 0;while(i>0){sum = sum+a[i];i--;}return ; }

程序給出了語法錯誤的位置。

總結

以上是生活随笔為你收集整理的编译原理实验二：Bison的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。