? ? antlr是指可以根據(jù)輸入自動(dòng)生成語(yǔ)法樹并可視化的顯示出來(lái)的開源語(yǔ)法分析器。ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內(nèi)的語(yǔ)言提供了一個(gè)通過語(yǔ)法描述來(lái)自動(dòng)構(gòu)造自定義語(yǔ)言的識(shí)別器（recognizer），編譯器（parser）和解釋器（translator）的框架。

??

1 ANTLR簡(jiǎn)介

ANTLR—Another Tool for Language Recognition，其前身是PCCTS，它為包括Java，C++，C#在內(nèi)的語(yǔ)言提供了一個(gè)通過語(yǔ)法描述來(lái)自動(dòng)構(gòu)造自定義語(yǔ)言的識(shí)別器（recognizer），編譯器（parser）和解釋器（translator）的框架。ANTLR可以通過斷言（Predicate）解決識(shí)別沖突；支持動(dòng)作（Action）和返回值（Return Value）來(lái)；更棒的是，它可以根據(jù)輸入自動(dòng)生成語(yǔ)法樹并可視化的顯示出來(lái)（這一點(diǎn)我將在下面的例子中演示）。由此，計(jì)算機(jī)語(yǔ)言的翻譯變成了一項(xiàng)普通的任務(wù)—在這之前YACC/LEX顯得過于學(xué)院派，而以LL（k）為基礎(chǔ)的ANTLR雖然在效率上還略有不足，但是經(jīng)過近些年來(lái)的升級(jí)修改，使得ANTLR足以應(yīng)付現(xiàn)存的絕大多數(shù)應(yīng)用。感謝Terence Parr博士和他的同事們十幾年來(lái)的出色工作，他們?yōu)榫幾g理論的基礎(chǔ)和語(yǔ)言工具的構(gòu)造做了大量基礎(chǔ)性工作，也直接導(dǎo)致了ANTLR的產(chǎn)生。

1.1 詞法分析器（Lexer）

詞法分析器又稱為Scanner，Lexical analyser和Tokenizer。程序設(shè)計(jì)語(yǔ)言通常由關(guān)鍵字和嚴(yán)格定義的語(yǔ)法結(jié)構(gòu)組成。編譯的最終目的是將程序設(shè)計(jì)語(yǔ)言的高層指令翻譯成物理機(jī)器或虛擬機(jī)可以執(zhí)行的指令。詞法分析器的工作是分析量化那些本來(lái)毫無(wú)意義的字符流，將他們翻譯成離散的字符組（也就是一個(gè)一個(gè)的Token），包括關(guān)鍵字，標(biāo)識(shí)符，符號(hào)（symbols）和操作符供語(yǔ)法分析器使用。

1.2 語(yǔ)法分析器（Parser）

編譯器又稱為Syntactical analyser。在分析字符流的時(shí)候，Lexer不關(guān)心所生成的單個(gè)Token的語(yǔ)法意義及其與上下文之間的關(guān)系，而這就是Parser的工作。語(yǔ)法分析器將收到的Tokens組織起來(lái)，并轉(zhuǎn)換成為目標(biāo)語(yǔ)言語(yǔ)法定義所允許的序列。

無(wú)論是Lexer還是Parser都是一種識(shí)別器，Lexer是字符序列識(shí)別器而Parser是Token序列識(shí)別器。他們?cè)诒举|(zhì)上是類似的東西，而只是在分工上有所不同而已。如下圖所示：

字符輸入流、tokens和AST之間的關(guān)系

1.3 樹分析器 (tree parser)

樹分析器可以用于對(duì)語(yǔ)法分析生成的抽象語(yǔ)法樹進(jìn)行遍歷，并能執(zhí)行一些相關(guān)的操作。

1.4 ANTLR

ANTLR將上述結(jié)合起來(lái)，它允許我們定義識(shí)別字符流的詞法規(guī)則和用于解釋Token流的語(yǔ)法分析規(guī)則。然后，ANTLR將根據(jù)用戶提供的語(yǔ)法文件自動(dòng)生成相應(yīng)的詞法/語(yǔ)法分析器。用戶可以利用他們將輸入的文本進(jìn)行編譯，并轉(zhuǎn)換成其他形式（如AST—Abstract Syntax Tree，抽象的語(yǔ)法樹）。

?

一.ANTRL 是什么

ANTLR 是用JAVA寫的語(yǔ)言識(shí)別工具，它用來(lái)聲明語(yǔ)言的語(yǔ)法，簡(jiǎn)稱為“元語(yǔ)言”(meta-language)。

ANTLR 語(yǔ)法識(shí)別一般分為二個(gè)階段：

1.詞法分析階段 （lexical analysis)

對(duì)應(yīng)的分析程序叫做?lexer?，負(fù)責(zé)將符號(hào)（token）分組成符號(hào)類（token class or token type）

2.解析階段

根據(jù)詞法，構(gòu)建出一棵分析樹（parse tree）或叫語(yǔ)法樹（syntax tree）?
?

?

?

ANTLR 的直觀印象，就像是在走迷宮，或者說是電路板更準(zhǔn)確，最終只有一條最優(yōu)路可通達(dá)開始與結(jié)束，中間的各種叉路與開關(guān)，就是我們所編寫的規(guī)則，下面是我編寫的一個(gè)SQL查詢的簡(jiǎn)單實(shí)現(xiàn)，截取一部分圖示：

?

?

ANTLR 官方網(wǎng)址?http://www.antlr.org/

ANTLR 官方 Github?https://github.com/antlr/antlr4

大量語(yǔ)法文件例子?https://github.com/antlr/grammars-v4

?

二.主要應(yīng)用場(chǎng)景

1.定制特定領(lǐng)域語(yǔ)言（DSL)

類似hibernate中的HQL，用DSL來(lái)定義要執(zhí)行操作的高層語(yǔ)法，這種語(yǔ)法接近人可理解的語(yǔ)言，由DSL到計(jì)算機(jī)語(yǔ)言的翻譯則通過ANTLR來(lái)做，可在ANTLR的結(jié)構(gòu)語(yǔ)言中定義DSL命令具體要執(zhí)行何種操作。

2.文本解析?可利用ANTLR解析JSON，HTML，XML，EDIFACT，或自定義的報(bào)文格式。解析出來(lái)的信息需要做什么處理也可以在結(jié)構(gòu)文件中定義。

3.數(shù)學(xué)計(jì)算?加減乘除，線性方程，幾何運(yùn)算，微積分等等

?

三.ANTRL 語(yǔ)法

1.結(jié)構(gòu)

/** Optional javadoc style comment */ grammar Name; options {...} import ... ;tokens {...} channels {...} // lexer only @actionName {...}rule1 // parser and lexer rules, possibly intermingled ... ruleN

?

grammar

聲明語(yǔ)法頭，類似于java類的定義

grammar SPL;

options

選項(xiàng)，如語(yǔ)言選項(xiàng)，輸出選項(xiàng)，回溯選項(xiàng)，記憶選項(xiàng)等等

options { output=AST; language=Java; }options { tokenVocab=MySqlLexer; }

@actionName

動(dòng)作（Actions）實(shí)際上是用目標(biāo)語(yǔ)言寫成的、嵌入到規(guī)則中的代碼（以花括號(hào)包裹）。它們通常直接操作輸入的標(biāo)號(hào)，但是他們也可以用來(lái)調(diào)用相應(yīng)的外部代碼。屬性，到目前為止我的理解還不多，感覺像是C++中類里面的成員。常用屬性或動(dòng)作說明：

• @header { package com.zetyun.aiops.antlr.test; }

  這個(gè)動(dòng)作很有用，即在運(yùn)行腳本后，生成的類中自動(dòng)帶上這個(gè)包路徑，避免了手動(dòng)加入的麻煩。

• @members { int i; public TParser(TokenStream input, int foo) { this(input); i = foo; }}

• @after {System.out.println("after matching rule; before finally");}

rule

這是核心，表示規(guī)則，以 “:” 開始， “;” 結(jié)束， 多規(guī)則以 "|" 分隔。

ID : [a-zA-Z0-9|'_']+ ; //數(shù)字 STR:'\'' ('\'\'' | ~('\''))* '\''; WS: [ \t\n\r]+ -> skip ; // 系統(tǒng)級(jí)規(guī)則 ，即忽略換行與空格sqlStatement: ddlStatement | dmlStatement | transactionStatement| replicationStatement | preparedStatement| administrationStatement | utilityStatement;

?

2.注釋

• 單行、多行、javadoc風(fēng)格
• javadoc風(fēng)格只能在開頭使用

/** * This grammar is an example illustrating the three kinds* of comments.*/ grammar T;/* a multi-linecomment *//** This rule matches a declarator for my language */decl : ID ; // match a variable name

?

3.標(biāo)識(shí)符

• 符號(hào)(Token)名大寫開頭
• 解析規(guī)則(Parser rule)名小寫開頭,后面可以跟字母、數(shù)字、下劃線

ID, LPAREN, RIGHT_CURLY // token names expr, simpleDeclarator, d2, header_file // rule names

?

　

四.遍歷模式

1、Listener (觀察者模式，通過結(jié)點(diǎn)監(jiān)聽，觸發(fā)處理方法)

• 程序員不需要顯示定義遍歷語(yǔ)法樹的順序，實(shí)現(xiàn)簡(jiǎn)單
• 缺點(diǎn)，不能顯示控制遍歷語(yǔ)法樹的順序
• 動(dòng)作代碼與文法產(chǎn)生式解耦，利于文法產(chǎn)生式的重用
• 沒有返回值，需要使用map、棧等結(jié)構(gòu)在節(jié)點(diǎn)間傳值

2、Visitor (訪問者模式，主動(dòng)遍歷)

• 程序員可以顯示定義遍歷語(yǔ)法樹的順序
• 不需要與antlr遍歷類ParseTreeWalker一起使用，直接對(duì)tree操作
• 動(dòng)作代碼與文法產(chǎn)生式解耦，利于文法產(chǎn)生式的重用
• visitor方法可以直接返回值，返回值的類型必須一致，不需要使用map這種節(jié)點(diǎn)間傳值方式，效率高

五.示例

計(jì)算器之四則運(yùn)算（官方例子照抄）

1、新建g4文件，如Math.g4

grammar Math;@header{package com.zetyun.aiops.core.math;} prog : stat+;stat: expr NEWLINE # printExpr| ID '=' expr NEWLINE # assign| NEWLINE # blank;expr: expr op=('*'|'/') expr # MulDiv | expr op=('+'|'-') expr # AddSub | INT # int | ID # id | '(' expr ')' # parens ;MUL : '*' ; // assigns token name to '*' used above in grammar DIV : '/' ; ADD : '+' ; SUB : '-' ; ID : [a-zA-Z]+ ; INT : [0-9]+ ; NEWLINE:'\r'? '\n' ; WS : [ \t]+ -> skip;

?

2、運(yùn)行Math.g4文件，生成.java文件

?

如果沒有安裝eclipse antlr插件的話，根據(jù)如下指示操作即可：

help -> Eclipse Marketplace -> 搜索 Antlr -> 選中合適版本，安裝即可。

?

?

3、編寫測(cè)試文件，檢驗(yàn)語(yǔ)法，驗(yàn)證結(jié)果等

package com.zetyun.aiops.test;import org.antlr.v4.runtime.CharStream; import org.antlr.v4.runtime.CharStreams; import org.antlr.v4.runtime.CommonTokenStream; import org.antlr.v4.runtime.tree.ParseTree;import com.zetyun.aiops.core.math.MathLexer; import com.zetyun.aiops.core.math.MathParser;public class Math {public static void main(String[] args) {CharStream input = CharStreams.fromString("12*2+12\r\n");MathLexer lexer=new MathLexer(input);CommonTokenStream tokens = new CommonTokenStream(lexer);MathParser parser = new MathParser(tokens);ParseTree tree = parser.prog(); // parseMathVisitorTest vt=new MathVisitorTest();vt.visit(tree);}}

?

4、語(yǔ)法樹分析

• 1) 下載antlr4運(yùn)行包，這里我選擇的版本是 antlr-4.7-complete.jar

  http://www.antlr.org/download.html

• 2) 新建運(yùn)行腳本 antlr4.bat 和 grun.bat，放置于任意目錄，如 E:/tools/antlr4

  antlr4.bat 內(nèi)容：

  java org.antlr.v4.Tool %*

  grun.bat 內(nèi)容：

  java org.antlr.v4.gui.TestRig %*

  注：antlr依賴于java，如果java環(huán)境變量沒有設(shè)置，請(qǐng)先行設(shè)置好。

• 3) 設(shè)置antlr4的系統(tǒng)環(huán)境變量(classpath 和 path)

  classpath：

  ?

  path (.bat所在目錄) :

  ?

• 4) 選擇要分析的g4文件，運(yùn)行命令生成相關(guān)java文件與token文件

D:\workspace\AntlrTest\test\math> antlr4 Math.g4

?

• 5) 編譯java文件

D:\workspace\AntlrTest\test\math>javac ./*.java

?

• 6) 分析語(yǔ)法樹

輸入grun命令回車，在命令行輸入你要測(cè)試的語(yǔ)法，再回車，按Ctrl+z 后回車。

D:\workspace\AntlrTest\test\math>grun Math expr -guiD:\workspace\AntlrTest\test\math>java org.antlr.v4.gui.TestRig Math expr -gui (2+3)*5-25/5 ^Z

執(zhí)行完命令后，會(huì)出現(xiàn)GUI窗口：

?

通過語(yǔ)法樹，我們可以直觀的知道語(yǔ)法是否正確，以便隨時(shí)調(diào)整。

標(biāo)簽:?Antlr4 入門,?Antlr4 語(yǔ)法,?g4 語(yǔ)法,?Antlr4 操作說明

總結(jié)

以上是生活随笔為你收集整理的了解antlr的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。