亚洲阿v天堂在线,亚洲成Av人片乱码色午夜,精品亚洲成α人无码成α在线观看

JavaCC、解析树(w��i)�?XQuery 语法�Q�第 2 部分

独孤�q�客 — Sat, 06 May 2006 08:23:00 GMT

本文的第 1 部分��要讨��Z��(ji��n)语法、解析器�?BNF。然后它介绍�?JavaCC�Q�一个流行的解析器生成器。第 2 部分演示�?ji��n)如何修改�?1 部分中的��h��代码�Q�这样就可以使用附加工具 JJTree 来构建相同解析的解析�?w��i)表�C�。�?zh��n)��探索这�U�方法的优点�Q��ƈ研究如何�~�写 Java 代码在运行时遍历该解析树(w��i)以便恢复其状态信息，�q�对正在解析的表辑ּ�求倹{��本文结��ְ�演示如何开发通用例程�Q�用于遍历从一��部�?XQuery 语法生成的解析树(w��i)�Q��ƈ对其求倹{�?/blockquote>
使用 JavaCC 解析器生成器有一个严重缺点：(x��)许多或大多数客户机端 Java 代码需要嵌入到 .jj 语法脚本中，该脚本编码了(ji��n)�(zh��n)�的 BNF�Q�巴�U�斯-诺尔范式�Q�Backus-Naur Form�Q�。这意味着�(zh��n)�失��M��(ji��n)在开发周期中合适的 Java IDE 可以向�?zh��n)�提供的许多优炏V�?/p>
开始��?JJTree 吧，它是 JavaCC 的伙伴工兗��JJTree 被设�|�成提供一个解析器�Q�该解析器在�q�行时的主要工作不是执行嵌入�?Java 操作�Q�而是构徏正在解析的表辑ּ�的独立解析树(w��i)表示。这��P��(zh��n)�就可以独立于生成该解析�?w��i)的解析代码�Q�捕捉在�q�行时易于遍历和查询的单个树(w��i)中的解析�?x��)话的状态。��用解析树(w��i)表示�q�会(x��)使调试变得更�Ҏ(gu��)��Q��ƈ�~�短开发时间。JJTree 是作�?JavaCC 分发版（distribution�Q�的一部分发布的（请参�?参考资�?/font>�Q��?

在我们��l�之前，我要特别提一下，术语解析�?/b>�?抽象语法�?/b>�Q�或 AST�Q�描�q�C��(ji��n)非常�怼�的语法结构。严格地�Ԍ��对于我在下面提到的解析树(w��i)�Q�语�a�理论家更�_��地把它称�?AST�?

要��?JJTree�Q��?zh��n)�需要能够：(x��)

创徏 JJTree 作�ؓ(f��)输入获取�?.jjt 脚本

�~�写客户机端代码以遍历在�q�行时生成的解析�?w��i)�ƈ对其求�?

本文演示�?ji��n)如何执行这两种操作。它�q�没有涵盖所有内容，但肯定能带�?zh��n)�入门�?/p>
JJTree 基础知识

JJTree 是一个预处理器，为特�?BNF 生成解析器只需要简单的两步�Q?/p>

�Ҏ(gu��)��谓的 .jjt 文�g�q�行 JJTree�Q�它�?x��)��生一个中间的 .jj 文�g

�?JavaCC �~�译该文�Ӟ�� W?1 部分中讨��Z��(ji��n)�q�个�q�程�Q?

�q�运的是�Q?jjt 文�g的结构只是我在第 1 部分中向�(zh��n)�显�C�的 .jj 格式的较?y��u)��扩展。主要区别是 JJTree ��d��?ji��n)一个新的语�?node-constructor构造，该构造可以让�(zh��n)�指定在解析期间在哪里以�?qi��ng)在什么条件下生成解析�?w��i)节炏V��换句话��_(d��)��该构造管理由解析器构造的解析�?w��i)的形状和内宏V�?

清单 1 昄��?ji��n)一个简单的 JavaCC .jj 脚本�Q�它�c�M��于�?zh��n)�在�?1 部分中看到的脚本。�ؓ(f��)��便�v见，我只昄��?ji��n)结果�?/p>
清单 1. simpleLang �?JavaCC 语法

void simpleLang() : {} { addExpr() } void addExpr() : {} { integerLiteral() ( "+" integerLiteral() )? } void integerLiteral() : {} { } SKIP : { " " | "\t" | "\n" | "\r" } TOKEN : { < INT : ( ["0" - "9"] )+ > }

该语法说明了(ji��n)该语�a�中的合法表达式包含：(x��)

单个整数文字�Q�或

一个整数文字，后面跟一个加��P��再跟另一个整数文字�?

对应�?JJTree .jjt 脚本�Q�再�ơ声明，略有��化）(j��)看上��d��能如下：(x��)

清单 2. �{��h(hu��n)于清�?1 中的 JavaCC 语法�?JJTree

SimpleNode simpleLang() : #Root {} { addExpr() { return jjtThis; }} void addExpr() : {} { integerLiteral() ( "+" integerLiteral() #Add(2) )? } void integerLiteral() : #IntLiteral {} { } SKIP : { " " | "\t" | "\n" | "\r" } TOKEN : { < INT : ( ["0" - "9"] )+ > }

该脚本对�(zh��n)�已�l�看到的脚本��d��?ji��n)一些新的语法特性。现在，我们只讨论突出显�C�的部分。以后，我会(x��)详细说明�?/p>

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

逐句说明 JJTree 语法

首先��h��意，最��层�?simpleLang() �l�果�?JavaCC 的过�E�性语法现在指定了(ji��n)一个返回类型：(x��) SimpleNode 。它与嵌入的 Java 操作 return jjtThis �Q�有一点�ؓ(f��) JJTree 虚张声势�Q�一��h��定了(ji��n)从应用程序代码调用解析器�?simpleLang() �Ҏ(gu��)��返回解析树(w��i)的根�Q�然后这个根��用于树(w��i)遍历�?

�?JavaCC 中，解析器调用看上去如下�Q?/p>

SimpleParser parser = new SimpleParser(new StringReader( expression )); parser.simpleLang();

而现在看上去象下面这��P��(x��)

SimpleParser parser = new SimpleParser(new StringReader( expression )); SimpleNode rootNode = parser.simpleLang();

注：(x��)所抓取的根节点�q�不仅仅�?SimpleNode �c�d��。它其实�?Root �c�d��Q�正�?清单 2 中的 #Root 伪指令所指定的（虽然�(zh��n)�不�?x��)在上述调用代码中那样��用�?j��)�?Root �?SimpleNode 子代�Q�就�?JJTree 生成的解析器构造的每个节点一栗��我��在下面向�?zh��n)�昄��?SimpleNode 的一些内�|�方法�?

addExpr() �l�果中的 #Add(2) 构造与上述�?#Root 伪指令不同，体现在以下几斚w��Q?

它是参数化的。树(w��i)构徏器在构造树(w��i)期间使用节点堆栈�Q�没有参数的节点构徏器的�~�省行�ؓ(f��)是将自己攑֜�正在构造的解析�?w��i)的�剙��Q�将所有节点弹出在同一�?节点作用�?/i> 中创建的节点堆栈�Q��ƈ把自己提升到那些节点父代的位�|�。参�?2 告诉新的父节点（在此�C�Z��中是一�?Add 节点�Q�要恰好采用两个子节点，它们�?下一�D�|��?/font> 中描�q�的两个 IntLiteral 子节炏V��JJTree 文档更详�l�地描述�?ji��n)这个过�E�。��用好的调试器在运行时遍历解析�?w��i)是另一个宝�늚�辅助�Ҏ(gu��)��Q�它有助于理解树(w��i)构徏�?JJTree 中是如何工作的�?

��?#Root 伪指令放在其�l�果的主体之外表�C?每次遍历该结果时都会(x��)生成一�?Root 节点�Q�而在此特定示例中�Q�只允许发生一�ơ）(j��)�Q�这一点具有同�{�的重要�?。但是，��?#Add(2) 伪指令放在可选的“零或一”项中表�C�Z��当在解析期间遍历包含它的选择子句�?�?换句话说�Q�当该结果表�C�Z��个真的加法操作时 �?�?有条件地 生成一�?Add 节点。当发生�q�种情况�Ӟ��?x��)遍�?integerLiteral() 两次�Q�每�ơ调用时都将一�?IntLiteral 节点��d��到树(w��i)上。这两个 IntLiteral 节点都成��用它们的 Add 节点的子节点。但是，如果正在解析的表辑ּ�是单个整敎ͼ�那么作�ؓ(f��)�l�果�?IntLiteral 节点��直接成�?Root 的一个子节点�?

一图胜千言�Q�引用一句古老的谚语�Q�。以下是�׃��q�语法生成的两种�c�d��的解析树(w��i)的图形表�C�：(x��)

�?1�Q�单个整数表辑ּ�的解析树(w��i)
500){this.resized=true;this.style.width=500;}" />

�?2�Q�加法操作的解析�?
500){this.resized=true;this.style.width=500;}" />

让我们更详细地研�I?SimpleNode 的类层次�l�构�?

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

使用解析�?/font>

�?.jjt 脚本中声明的每个节点都指�C��析器生成 JJTree SimpleNode 的一个子�c�R��接下来�Q?SimpleNode 又实现名�?Node �?Java 接口。这两个�cȝ��源文仉��是由 JJTree 脚本和定�?.jj 文�g一赯��动生成的�?清单 1 昄��?ji��n)定�?.jj 文�g的当前示例。在当前�C�Z��中，JJTree �q�提供了(ji��n)�(zh��n)�自��q�� Root �?Add �?IntLiteral �c�M��?qi��ng)没有在�q�里看到的一些附加的助手�cȝ��源文件�?

所�?SimpleNode 子类都��承了(ji��n)有用的行为�?SimpleNode �Ҏ(gu��)�� dump() ��是�q�样一个例子。它�q�充当了(ji��n)我以前的论点�Q��用解析树(w��i)使调试更�Ҏ(gu��)��Q�从而羃短开发时��_(d��)��(j��)的示例。以下三行客��h��端代码的代码片段实例化了(ji��n)解析器、调用解析器、抓取所�q�回的解析树(w��i)�Q��ƈ且将一个简单的解析�?w��i)的文本表示转储到控制台�Q?

SimpleParser parser = new SimpleParser(new StringReader( expression )); SimpleNode rootNode = parser.simpleLang(); rootNode.dump();

�?2 中的�?w��i)的调试输出是�?x��)

Root Add IntLiteral IntLiteral

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

辅助��D��

另一个有用的内置 SimpleNode �Ҏ(gu��)��?jjtGetChild(int) 。当�(zh��n)�在客户机端向下��览解析�?w��i)，�q�且遇到 Add 节点�Ӟ��(zh��n)�会(x��)要抓取它�?IntLiteral 子节炏V��抽取它们表�C�的整数��|��q�将�q�些数字加到一�?�?毕竟�Q�那是用来练�?f��n)的。假设下一�D�代码中昄��?addNode 是表�C�我们感兴趣�?Add �c�d��节点的变量，那我们就可以讉K�� addNode 的两个子节点。（ lhs �?rhs 分别�?左边�Q�left-hand side�Q?/i>�?双��Q�right-hand side�Q?/i>的常用羃写。）(j��)

SimpleNode lhs = addNode.jjtGetChild( 0 ); SimpleNode rhs = addNode.jjtGetChild( 1 );

即��到目前�ؓ(f��)止�?zh��n)�已经执行了(ji��n)所有操作，但�?zh��n)�仍然没有��_��的信息来计算该解析树(w��i)表示的算术运��的�l�果。�?zh��n)�的当前脚本已�l�省略了(ji��n)一个重要的�l�节�Q�树(w��i)中的两个 IntLiteral 节点实际上不包含它们声称要表�C�的整数。那是因为当记号赋予器（tokenizer�Q�在输入��中遇到它们�Ӟ��(zh��n)�没有将它们的��g��存到�?w��i)中�Q��?zh��n)�需要修�?integerLiteral() �l�果来执行该操作。�?zh��n)��q�需要将一些简单的存取器方法添加到 SimpleNode �?

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

保存和恢复状�?/font>

要将所扫描的记��L(f��ng)��值存储到适当的节点中�Q�将以下修改��d��?SimpleNode �Q?

public class SimpleNode extends Node { String m_text; public void setText( String text ) { m_text = text; } public String getText() { return m_text; } ... }

��?JJTree 脚本中的以下�l�果�Q?/p>

void integerLiteral() : #IntLiteral {} }

更改成：(x��)

void integerLiteral() : #IntLiteral { Token t; } { t= { jjtThis.setText( t.image );} }

该结果抓取它刚在 t.image 中遇到的整数的原始文本��|��q��用�?zh��n)��?setText() setter �Ҏ(gu��)��该字符串存储到当前节点中�?清单 5 中的客户机端 eval() 代码昄��?ji��n)如何��用相应�?getText() getter �Ҏ(gu��)��?

可以很容易地修改 SimpleNode.dump() �Q�以提供��M��节点�?m_text ��g��其在解析期间存储 �?我把�q�作��Z��个众所周知的练�?f��n)留�l��?zh��n)�来完成。这��让�(zh��n)�更形象地理解在�q�行调试时解析树(w��i)看�v来是什么样子。例如，如果�(zh��n)�解析了(ji��n)�?2 + 1”，略经修改�?dump() 例程可以生成以下有用的输出：(x��)

Root Add IntLiteral[42] IntLiteral[1]

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

�l�合�Q�XQuery �?BNF 代码片段

让我们通过研究实际语法的一个代码片�D�|��q�行�l�合和�ȝ��。我��向�(zh��n)�演�C�Z��D�非常小�?XQuery �?BNF 子集�Q�这�?XML 的查询语�a��?W3C 规范�Q�请参阅参考资�?/font>�Q�。我在这里所说的大多数内容也适用�?XPath�Q�因��两者共享了(ji��n)许多相同的语法。我�q�将��要地研究�q�算�W�优先��的问题，�q�将�?w��i)遍历代码推�q�到成熟的递归例程中，该例�E�可以处理�Q意复杂的解析�?w��i)�?

清单 3 昄��?ji��n)�(zh��n)�要��用�?XQuery 语法片段。这�D?BNF 摘自 2002 �q?11 �?15 日的工作草案�Q?

清单 3�Q�一部分 XQuery 语法

[21] Query ::= QueryProlog QueryBody ... [23] QueryBody ::= ExprSequence? [24] ExprSequence ::= Expr ( "," Expr )* [25] Expr ::= OrExpr ... [35] RangeExpr ::= AdditiveExpr ( "to" AdditiveExpr )* [36] AdditiveExpr ::= MultiplicativeExpr (("+" | "-") MultiplicativeExpr )* [37] MultiplicativeExpr ::= UnionExpr (("*" | "div" | "idiv" | "mod") UnaryExpr )* ...

�(zh��n)�将要构��Z��个刚好适合�?JJTree 语法脚本来处理结�?[36] �?[37] 中的 + �?- �?* �?div �q�算�W�，而且��单地假设该语法所知道的唯一数据�c�d��是整数。该��h��语法非常��，�q�不能妥善处�?XQuery 支持的丰富的表达式和数据�c�d��。但是，如果�(zh��n)�要为更大、更复杂的语法构��析器�Q�它应该能给�(zh��n)��?JavaCC �?JJTree 的入门知识�?

清单 4 昄��?.jjt 脚本。请注意该文仉��部的 options{} 块。这些选项�Q�还有许多其它可用选项开养I��(j��)指定�?ji��n)其中�?w��i)构徏在本例中是以多重方式�q�行的，卌��Ҏ(gu��)��造器用于昑ּ�地命名所生成节点的类型。备用方法（不在�q�里研究�Q�是�l�果只将 SimpleNode 节点提供�l�解析树(w��i)�Q�而不是它的子�c�R��如果�?zh��n)�惌��避免扩散节点�c�，那么该选项很有用�?

�q�请注意原始�?XQuery BNF �l�常��多个运��符�l�合到同一个结果中。在清单 4中，我已�l�将�q�些�q�算�W�分��d�� JJTree 脚本中的单独�l�果中，因�ؓ(f��)�q�让客户机端的代码更��单。要�q�行�l�合�Q�只需存储已扫描的�q�算�W�的��|��p��Ҏ(gu��)��数所�q�行的操作一栗��?

清单 4�Q�清�?3 中的 XQuery 语法�?JJTree 脚本

options { MULTI=true; NODE_DEFAULT_VOID=true; NODE_PREFIX=""; } PARSER_BEGIN( XQueryParser ) package examples.example_2; public class XQueryParser{} PARSER_END( XQueryParser ) SimpleNode query() #Root : {} { additiveExpr() { return jjtThis; }} void additiveExpr() : {} { subtractiveExpr() ( "+" subtractiveExpr() #Add(2) )* } void subtractiveExpr() : {} { multiplicativeExpr() ( "-" multiplicativeExpr() #Subtract(2) )* } void multiplicativeExpr() : {} { divExpr() ( "*" divExpr() #Mult(2) )* } void divExpr() : {} { integerLiteral() ( "div" integerLiteral() #Div(2) )* } void integerLiteral() #IntLiteral : { Token t; } { t= { jjtThis.setText(t.image); }} SKIP : { " " | "\t" | "\n" | "\r" } TOKEN : { < INT : ( ["0" - "9"] )+ > }

�?.jjt 文�g引入�?ji��n)几个新的特性。例如，该语法中的运��结果现在是 �q�代�?/i> �Q�通过使用 * �Q�零�ơ或多次�Q�发生指�C�符来表�C�它们的可选的�W�二��，�q�与清单 2 中的 ? �Q�零�ơ或一�ơ）(j��)表示法相反。该脚本所提供的解析器可以解析��L��长的表达式，如�? + 2 * 3 div 4 + 5”�?

实现优先�U?/font>

该语法还知道 �q�算�W�优先��。例如，�(zh��n)�期望乘法的优先�U�比加法高。在实际例子中，�q�表�C��如�? + 2 * 3”这��L(f��ng)��表达式将作�ؓ(f��)�? + ( 2 * 3 )”进行求��|��而不是�? 1 + 2 ) * 3”�?

优先�U�是通过使用�U�联样式实现的，其中每个�l�果�?x��)调用紧随其后的较高优先�U�的�l�果。��联样式和节点构造的位置和格式保证了(ji��n)以正��的�l�构生成解析�?w��i)，�q�样�?w��i)遍历可以正��执行。用一些直观图形也许更易于理解�q�一炏V�?/p>
�?3 昄��?ji��n)由此语法生成的解析树(w��i)，它可以让�?zh��n)�正��地��? + 2 * 3”当作�? + ( 2 * 3 )”进行求倹{��请注意�Q?Mult �q�算�W�与它的��之间的联系�?Plus 更紧密，而这正是�(zh��n)�希望的�Q?

�?3. �l�构正确的树(w��i)
500){this.resized=true;this.style.width=500;}" />

�?�?4昄��的树(w��i)�Q�该语法 不会(x��)生成�q�样的树(w��i)�Q�表�C��?zh��n)��Q�错误地�Q�想要将该表辑ּ�当作�?1 + 2) * 3”求倹{�?

�?4. �l�构不正��的�?
500){this.resized=true;this.style.width=500;}" />

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

遍历解析�?w��i)客��h��?/font>

��p��我曾�{�应的，我将用客��h��端代码的清单作�ؓ(f��)�ȝ��Q�该清单��调用该解析器�ƈ遍历它生成的解析�?w��i)，它��用简单而功能强大的递归 eval() 函数�Ҏ(gu��)��(w��i)遍历旉��到的每个节点执行正确操作�?清单 5中的注释提供�?ji��n)关于内�?JJTree 工作的附加详�l�信息�?

清单 5. 可容易泛化的 eval() 例程

// return the arithmetic result of evaluating 'query' public int parse( String query ) //------------------------------ { SimpleNode root = null; // instantiate the parser XQueryParser parser = new XQueryParser( new StringReader( query )); try { // invoke it via its topmost production // and get a parse tree back root = parser.query(); root.dump(""); } catch( ParseException pe ) { System.out.println( "parse(): an invalid expression!" ); } catch( TokenMgrError e ) { System.out.println( "a Token Manager error!" ); } // the topmost root node is just a placeholder; ignore it. return eval( (SimpleNode) root.jjtGetChild(0) ); } int eval( SimpleNode node ) //------------------------- { // each node contains an id field identifying its type. // we switch on these. we could use instanceof, but that's less efficient // enum values such as JJTINTLITERAL come from the interface file // SimpleParserTreeConstants, which SimpleParser implements. // This interface file is one of several auxilliary Java sources // generated by JJTree. JavaCC contributes several others. int id = node.id; // eventually the buck stops here and we unwind the stack if ( node.id == JJTINTLITERAL ) return Integer.parseInt( node.getText() ); SimpleNode lhs = (SimpleNode) node.jjtGetChild(0); SimpleNode rhs = (SimpleNode) node.jjtGetChild(1); switch( id ) { case JJTADD : return eval( lhs ) + eval( rhs ); case JJTSUBTRACT : return eval( lhs ) - eval( rhs ); case JJTMULT : return eval( lhs ) * eval( rhs ); case JJTDIV : return eval( lhs ) / eval( rhs ); default : throw new java.lang.IllegalArgumentException( "eval(): invalid operator!" ); } }

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

�l�束�?/font>

如果�(zh��n)�想要查看可以处理许多实�?XQuery 语法的功能更丰富�?eval() 函数版本�Q�欢�q�下载我的开放源�?XQuery 实现�Q�XQEngine�Q�的副本�Q�请参阅参考资�?/font> �Q�。它�?TreeWalker.eval() 例程 例�D�?30 多种 XQuery 节点�c�d��。还提供�?ji��n)一�?.jjt 脚本�?

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

参考资�?

�(zh��n)�可以参阅本文在 developerWorks 全球站点上的英文原文.

请加入本文的论坛。（�(zh��n)�也可以单击本文�剙��或底部的讨论来访问论坛。）(j��)

有关语法、解析器�?BNF 的简要讨论和 JavaCC 的介�l�，请回��本文的 �W?1 部分。�?zh��n)��q�会(x��)扑ֈ�使用 JavaCC 构徏定制解析器的��h��代码�Q�它从语法的 BNF 描述开始�?

误��问免费（但不是开放源码）(j��) JavaCC �?JJTree 的分发版�?

请在 XML Query 主页上寻扑օ��?W3C �?XQuery �?XPath 规范的更多信息�?

XQEngine 是作者编写的 XQuery 引擎的基�?Java 的开放源码实现�?

惌��?ji��n)�?BNF 的更多知识吗�Q�请讉K�� Wikipedia.org�?

请在 developerWorks XML�?Java 技�?/font>专区中寻找本文中所�늛�技术的更多信息�?

IBM WebSphere Studio 提供�?ji��n)�?Java 和其它语�a�自动�q�行 XML 开发的一�l�工兗��它�?WebSphere Application Server紧密集成�Q�而且�q�可以用于其�?J2EE 服务器�?

�?ji��n)解�?zh��n)�怎样可以成�ؓ(f��)一�?IBM 认证�?XML �?qi��ng)相��x��术开发�h�?/font>�?

500){this.resized=true;this.style.width=500;}" resized="true" />

500){this.resized=true;this.style.width=500;}" border="0" />
回页�?/font>

关于作�?/font>

500){this.resized=true;this.style.width=500;}" resized="true" />

Howard Katz 居住在加拿大温哥华，他是 Fatdog Software 的唯一业主�Q�该公司专门致力于开发搜�?XML 文档的��Y件。在�q�去的大�U?35 �q�里�Q�他一直是�z�跃的程序员�Q�一直业�l�良好）(j��)�Q��ƈ且长期�ؓ(f��)计算��N易出版机构撰写技术文章。Howard �?Vancouver XML Developer's Association 的共同主持�h�Q�还�?Addison Wesley 卛_��出版的书�c?The Experts on XQuery的编辑，该书�?W3C �?Query 工作�l�成员合著，概述�?ji��n)有�?XQuery 的技术前景。他和他的妻子夏天去划船�Q�冬天去边远地区滑雪。可以通过 howardk@fatdog.com�?Howard 联系�?

独孤�q�客 2006-05-06 16:23 发表评论

JavaCC、解析树(w��i)�?XQuery 语法�Q�第 1 部分

独孤�q�客 — Sat, 06 May 2006 08:22:00 GMT

在简要讨��Z��(ji��n)语法、解析器�?BNF 后，本文��介�l?JavaCC�Q�这是一个流行的解析器生成器工具。�?zh��n)��开发��?JavaCC 的样本代码来构徏定制的解析器�Q�先从语法的 BNF 描述开始。第 2 部分接着��演�C�如何��用辅助工�?�?JJTree 来构建同一解析的解析树(w��i)表示�Q�以�?qi��ng)如何在�q�行旉��历该�?w��i)，以发现其状态信息。文章将以开发构建和遍历解析�?w��i)的��h��代码作�ؓ(f��)�l�束�Q�该解析�?w��i)是�?zh��n)��ؓ(f��)一��部�?XQuery 语法生成的�?/blockquote>
要完成最��单的日常解析��d��Q��?zh��n)�不需要��用象自动化解析器生成器那样复杂的��M��东西。例如，同“梳理”CSV�Q�逗号分割的��|��Comma-Separated-Value�Q�文件的各部分同��L(f��ng)��单的�~�程�l�习(f��n)需要了(ji��n)解文件的�l�构�Q�可能还需要了(ji��n)解如何��?Java �?BNF 开�?/font>
复杂语言的语法通常都是使用 BNF�Q�巴�U�斯-诺尔范式�Q�Backus-Naur Form�Q�表�C�法或者其“近亜y(c��)��?EBNF�Q�扩展的 BNF�Q�描�q�的。自动化工具可以使用那些描述�Q�我��用通用的术�?BNF来指代这两种变体�Q�或与它们近似的描述来�ؓ(f��)�(zh��n)�生成解析代码。本文就描述�?ji��n)这��L(f��ng)��一�U�解析器-生成器工��P��U�Cؓ(f��) JavaCC。我��简要地研究一�?JavaCC 的基本知识，�q�在�l�束的时候花些时间研�I�一下它的一个辅助工�?�?JJTree�Q�但是在讨论中不�?x��)介�l�太多的理论知识�Q�以免偏��M��题。本文力��N��明我的理念：(x��)�(zh��n)��ƈ不需要了(ji��n)解很多有��x��规的解析理论��p��q�行解析�Q? ��Z��么��?JavaCC 呢？有几个原因：(x��)我对 XQuery 有着强烈的兴��，�?W3C �?XML Query 工作�l�恰好��?JavaCC 来构建�ƈ��试 XQuery 语法的版本，�q�且构徏和测试它�?XSL �l�共享的 XPath 语法。我�q��?JavaCC 来提�?XQEngine 中的查询-解析代码�Q�XQEngine 是我自己的开放源�?XQuery 实现�Q�请参阅参考资�?/font>�Q��? 最后一点（但不是最不重要的�Q�，��h��是完全合适的�Q�尽��?JavaCC 不是开放源码，但它是完全免费的。（请参�?参考资�?/font>以了(ji��n)解有兛_��何获�?JavaCC 的信息）(j��)�? 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 解析 101 在我开始介�l�一些实际的 XQuery 语法之前�Q�让我们先从一个非常简单的 BNF 开始，它描�q�C��(ji��n)一�U�语�a��Q�该语言仅由两个只对整数�q�行�q�算的算术运��符构成。我�U�这�U�语�a��? simpleLang ::= integerLiteral ( ( "+" | "-" ) integerLiteral )? integerLiteral ::= [ 0-9 ]+ 该语法中的每个规则都是一�?�l�果�Q�production�Q?/b> �Q�其中左边的��（�l�果的名�U�ͼ�(j��)是依据语法中的其它结果描�q�的。最上面的结�?simpleLang �?simpleLang �?非终端（non-terminal�Q?/i> �W�号的一个示例，它对其它�l�果�q�行引用�Q�另一斚w��Q�规�? 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> �?BNF �?JavaCC 让我们看看如何��?JavaCC 实现该语法。JavaCC 使用�U�Cؓ(f��) .jj 的文件。该文�g中的语法描述是��用非常类��g�� BNF 的表�C�法�~�写的，�q�样从一�U��Ş式�{换到另一�U��Ş式通常��q��当容易。（该表�C�法有自��q��语法�Q�从而��其在 JavaCC 中是可表辄��。）(j��) JavaCC .jj 文�g语法和标准的 BNF 之间的主要区别在于：(x��)利用 JavaCC 版本�Q��?zh��n)�可以在语法中嵌入操作。一旦成功遍历了(ji��n)语法中的那些部分�Q�则执行�q�些操作。操作都�?Java 语句�Q�它们是解析�?Java 源代码的一部分�Q�该部分作�ؓ(f��)解析器生成过�E�的一部分产生�?/p> �Q�注�Q�除�?ji��n)一�?Java 清单 1�q�不包含�(zh��n)�需要用来对该语�a�中的表达式实际求值的嵌入�?Java 代码。当�(zh��n)�研�I�过 JJTree �?qi��ng)其解析树(w��i)表�C�后�Q�我��对此做更详�l�的研究。）(j��) 清单 1. �~�码 SimpleLang 语法的完�?.jj 脚本 PARSER_BEGIN( Parser_1 ) package examples.example_1; public class Parser_1 {} PARSER_END( Parser_1 ) void simpleLang() : {} { integerLiteral() ( ( "+" | "-" ) integerLiteral() )? } void integerLiteral() : {Token t;} { t= { System.out.println("integer = "+t.image); }} SKIP : { " " | "\t" | "\n" | "\r" } TOKEN : { < INT : ( ["0" - "9"] )+ > } ��h��意有兌��文�g的下�q�情形：(x��) PARSER_END 伪指令指定了(ji��n)要生成的 Java 解析器的名称�Q�Parser_1.java�Q�，�q�提供一个位�|�以便将 Java 语句插入该类。在�q�个案例中，�(zh��n)�正��一�?Java package 语句也放�|�在 Java 助手�c�L��件的�剙��Q�该文�g是作为生成过�E�一部分产生的（请参�?JavaCC �~�译�q�程 �Q�。尽��我在本�C�Z��中没有这样做�Q�但是这也是一个声明实例变量的好场所�Q�该实例变量��由�(zh��n)�结果中�?Java 语句引用。如果�?zh��n)�喜欢�Q�甚臛_��以在�q�里插入 Java 遍历解析代码中�ؓ(f��)�(zh��n)�演�C�那是如何工作的。（�q�里的术语“编译”也不是偶然�?�?解析器生成器通常也称为“编译器的编译器”。）(j��) 花括��P��{ �?}) 内描�q�C��(ji��n)�l�果的主体，�q�且排除�?ji��n)�Q何�?zh��n)�正在嵌入�?Java 操作。请注意 System.out.println() 语句。该操作作�ؓ(f��)�Ҏ(gu��)�� SKIP 语句表明�Q�在记号之间可以出现�I�白�Q�空根{��蟩根{��回车和换行�Q�，�I�白��被忽略�? integerLiteral() 声明�?ji��n)类�?t 。当在输入流中遇到整数时�?触发该规则，该整敎ͼ�象文本一��P��(j��)的��D��赋给实例变量 Token 字段 System.out.println() 代码可以在解析时在那个记��L(f��ng)��内部使用 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 遍历解析器代�?/font> 让我们非常简要地�?ji��n)解一下�?zh��n)�生成的解析器的内部原理。出于下面两个原因，�E�微�?ji��n)解��q��D�的 .jj 语法生成的方法以�?qi��ng)其在运行时的执行顺序是很有用的�Q?/p> 有时候（特别是当�(zh��n)�第一�ơ做的时候）(j��)�Q�解析器��g��q�回�?ji��n)不同的�l�果�Q�而�?zh��n)�认��?f��)�?.jj 文�g指示它这样做的。�?zh��n)�可以在运行时单步遍历产生的解析器代码�Q�以便查看它到底在做什么，�q�相应地调整语法文�g。我现在�q�经常这样做�? 如果�(zh��n)�知道结果／�Ҏ(gu��)��的执行顺序，那么�(zh��n)�将对在脚本中的什么地方嵌�?Java 操作以获得特定的�l�果有更好的理解。在�W?2 部分谈论有关 JJTree 工具和解析树(w��i)表示�Ӟ��我将回过头来更详�l�地讨论�q�一内容�? ��管深入研究已生成解析器的详�l�信息超��了(ji��n)本文的范��_(d��)��但是清单 2 �q�是昄��?ji��n)��?f��)�Ҏ(gu��)�� System.out.println( "integer = "+t.image) 。该语句作�ؓ(f��)嵌入 .jj 脚本�?Java 操作发挥作用�? 清单 2. Parser_1 中生成的�Ҏ(gu��)�� static final public void integerLiteral() throws ParseException { Token t; t = jj_consume_token(INT); System.out.println( "integer = "+t.image); } 以下高��、详��的描述说明�?ji��n)这个解析器��做什么：(x��) 最上面的方�?integerLiteral() �? 记号��值“包”�v来；如果是后者，则当�?integerLiteral() 做进一步处理。如果记可��予器未遇到这两个记号�Q�则�q�回词法错误�? 如果记号赋予器返回的记号不是整数记号�?integerLiteral() 抛出 integerLiteral() 再次调用记号赋予器以�q�回下一个记受��如果返�?integerLiteral() ��最后一�ơ调用记可��予器�Q�以��L��另一个整数。如果遇��C��个整敎ͼ�则表辑ּ�是有效的�Q�解析器��完成工作。如果下一个记号不是整敎ͼ�则解析器抛出异常�? 注：(x��)如果解析器失败了(ji��n)�Q�则抛出 TokenMgrError 。�Q何一�U�异帔R��表明�(zh��n)�的表达式是无效的�? �q�里�?要点是，只有当解析器成功地遍历了(ji��n)嵌入 Java 操作的那部分�l�果后，才能执行嵌入到这两个�l�果中的��M�� Java 操作。如果将表达式�?2 + 1”传递给该解析器�Q�则语句 integer = 1 。如果运行无效的表达式�?2 + abc”，则��生消�?a Token Manager error! 。在后一�U�情形中�Q�解析器只成功地遍历�?integerLiteral() ��，而未成功遍历�W�二��：(x��) void simpleLang() : {} { integerLiteral() ( ("+" | "-") integerLiteral() )? } 换而言之，�W�二�? 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> JavaCC �~�译�q�程当�?zh��n)��?.jj 文�g�q�行 JavaCC �Ӟ��它会(x��)生成许多 Java 源文件。其中一个是主解析代�?Parser_1.java�Q�当�(zh��n)�有一个要解析的表辑ּ��Ӟ��(zh��n)�将从�?zh��n)�的应用程序调用该代码。JavaCC �q�创��Z��(ji��n)其它六个��p��析器使用的辅助文件。JavaCC ��d��生成�?ji��n)以下七�?Java 文�g。前三个是特定于�q�个�Ҏ(gu��)��语法的；后四个是通用的助手类 Java 文�g�Q�无��法是怎么��L(f��ng)��Q�都�?x��)生成这几个文�g�?/p> Parser_1.java Parser_1Constants.java Parser_1TokenManager.java ParseException.java SimpleCharStream.java Token.java TokenMgrError.java 一�?JavaCC 生成�?ji��n)这七�?Java 源文�Ӟ��则可以编译它们�ƈ��它们链接到�(zh��n)�的 Java 应用�E�序中。然后可以从�(zh��n)�的应用�E�序代码调用新的解析器，从而将表达式传递给它进行求倹{��下面是一个样本应用程序，它实例化�(zh��n)�的解析器，�q�且为它提供�?ji��n)一个硬�q�接在应用程序顶部的表达式�?/p> 清单 3�Q�调用第一个解析器 package examples.example_1; import examples.example_1.Parser_1; import examples.example_1.ParseException; import java.io.StringReader; public class Example_1 { static String expression = "1 + 42"; public static void main( String[] args ) //-------------------------------------- { new Example_1().parse( expression ); } void parse( String expression ) //----------------------------- { Parser_1 parser = new Parser_1( new StringReader( expression )); try { parser.simpleLang(); } catch( ParseException pe ) { System.out.println( "not a valid expression" ); } catch( TokenMgrError e ) { System.out.println( "a Token Manager error!" ); } } } �q�里有什么是值得注意的呢�Q?/p> 要调�?simpleLang() �?jj 文�g中的�l�果��序通常是无关的�Q�而本案例除外�Q�在本案例中�Q�语法中最�剙��的结果名�U�用于调用解析器�? 如果正在传递给解析器代码的表达式不能根据语法合法地构造，则将抛出 LexicalError �? 如果表达式是有效的，则执行嵌入语法各部分的�Q�?Java 操作�Q�这些语法部分都被成功遍历，��p�� 遍历解析器代�?/font>�l�尾描述的一栗��? 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> �l�束�?/font> �q�篇文章�l�束后还有第 2 部分。�?zh��n)��从�c�M��的样本代码开始着手，学习(f��n)如何使用 JavaCC 的“伙伴”工�?JJTree 来创建在�q�行时构��析的解析�?w��i)表�C�的解析器，而不是执行嵌�?.jj 脚本的操作。正如�?zh��n)��看到的�Q�这有很多优炏V�?/p> 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 参考资�? �(zh��n)�可以参阅本文在 developerWorks 全球站点上的英文原文. 参与有关本文�?论坛。（�(zh��n)�也可以单击文章�剙��或底部的讨论以访问论坛。）(j��) 希望�?ji��n)解更多有�?BNF 的知识吗�Q�请查阅 Wikipedia.org�? ��h��阅免费的�Q�但非开放源码）(j��) JavaCC �?JJTree 分发�?/font>�? �?XML Query 主页可找到更多有�?W3C �?XQuery �?XPath 规范的信息�? XQEngine 是作者开发的��Z�� Java �?XQuery 引擎的开放源码实现�? �?developerWorks XML�?Java 技�?/font>专区可找到本文所�늛�的技术的更多信息�? IBM WebSphere Studio 提供�?ji��n)一�l�� XML 开发自动化的工��P��可��?Java 也可使用其它语言。它�?WebSphere Application Server�q�行�?ji��n)紧密的集成�Q�但是也可以与其�?J2EE 服务器一起��用�? �?ji��n)解如何才能成��?f��) XML 和相��x��术的 IBM 认证开发�h�?/font>�? 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 关于作�?/font> 500)this.style.width=500;" /> Howard Katz 居住在加拿大温哥华，他是 Fatdog Software 的唯一业主�Q�该公司专门致力于开发搜�?XML 文档的��Y件。在�q�去的大�U?35 �q�里�Q�他一直是�z�跃的程序员�Q�一直业�l�良好）(j��)�Q��ƈ且长期�ؓ(f��)计算��N易出版机构撰写技术文章。Howard �?Vancouver XML Developer's Association 的共同主持�h�Q�还�?Addison Wesley 卛_��出版的书�c?The Experts on XQuery的编辑，该书�?W3C �?Query 工作�l�成员合著，概述�?ji��n)有�?XQuery 的技术前景。他和他的妻子夏天去划船�Q�冬天去边远地区滑雪。可以通过 howardk@fatdog.com�?Howard 联系�? 独孤�q�客 2006-05-06 16:22 发表评论
独孤�q�客 — Sat, 06 May 2006 08:21:00 GMT �U�别: 初�� JoAnn P. Brereton , 高��软�g工程师，IBM 2004 �q?5 �?01 �?/p> JavaCC 是一个功能极其强大的‘编译器的编译器’工��P��可用于编制上下文无关的语法。本文演�C�Z��(ji��n)如何��?JavaCC 用于支持�l�端用户�?DB2 UDB 数据库编制简单的布尔查询�?/blockquote> JavaCC ��?/font> 许多��Z�� Web 的项目都包含卛_��Q�ad-hoc�Q�查询系�l�以允许�l�端用户搜烦(ch��)信息。因此，�l�端用户�?x��)需要某�U�语�a�来表达他们所希望搜烦(ch��)的内宏V��以前，用户查询语言的定义极其简单。如果终端用��h��于使用与最典型�?Google 搜烦(ch��)一般简单的语言�Q�那�?Java �?StringTokenizer 对于解析��d��qԒ�l�有余了(ji��n)。然而，如果用户希望有一�U�更健壮的语�a��Q�比如要��d��括号和“AND�?“OR”逻辑�Q�那么我们很快就�?x��)发现我们需要更强大的工兗��我们需要一�U�方法，用以首先定义用户��要使用的语�a��Q�然后用该定义解析相应的条目�q�且对各�U�后端数据库制定正确的查询�?/p> �q�就是工�?JavaCC 出现的原因。JavaCC 代表“Java�] Compiler Compiler”，是对 YACC�Q�“Yet Another Compiler Compiler”）(j��)的��承（YACC �?AT&T ��Z��(ji��n)构徏 C 和其他高�U�语�a�解析器而开发的一个基�?C 的工��P��(j��)。YACC 和其伙伴词法记号赋予器（tokenizer�Q�——“Lex”——接收由常用的巴�U�斯-诺尔范式�Q�Backus-Nauer form�Q�又�U?Bacchus Normal Form�Q�BNF�Q��Ş式的语言定义的输入，�q�生成一个“C”程序，用以解析该语�a�的输入以�?qi��ng)执行其中的功能。JavaCC �?YACC 一��P��是�ؓ(f��)加快语言解析器逻辑的开发过�E�而设计的。但是，YACC 生成 C 代码�Q��?JavaCC 呢，正如�(zh��n)�想像的那样�Q�JavaCC 生成的是 Java 代码�?/p> JavaCC 的历史极具传奇色彩。它��h��?Sun 公司的“Jack”。Jack 后来辗�{�?ji��n)几家拥有者，比如著名�?Metamata �?WebGain�Q�最后变成了(ji��n) JavaCC�Q�然后又回到�?Sun。Sun 公司最后在 BSD 的许可下��它作�ؓ(f��)开放源代码的代码发布。JavaCC 目前�?Web 主页�?http://javacc.net.java.net�? JavaCC 的长处在于它的简单性和可扩展性。要�~�译�?JavaCC 生成�?Java 代码�Q�无需��M��外部 JAR 文�g或目录。仅仅用基本�?Java 1.2 版编译器��可以进行编译。而该语言的布局也��得它易于��d��产生式规则和行�ؓ(f��)。该 Web 站点甚至描述�?ji��n)如何编制异�总�便给出用户合适的语法提示�?/p> 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 问题定义让我们假设�?zh��n)�有一位客户在一个出�U�视频节目的商店里，该商店拥有一个简单的�?sh��)�?ji��ng)数据库。该数据库包含表 MOVIES、ACTORS �?KEYWORDS。MOVIES 表列举他商店中每部电(sh��)��q��相关数据�Q�即如每部电(sh��)��q��名称和导演等内容。ACTORS 表列举每部电(sh��)�׃��的演员姓名。�?KEYWORDS 表则列�D描述�?sh��)�?ji��ng)的词语，例如“action”、“drama”、“adventure”等�{��?/p> 客户希望能够对该数据库发出稍微复杂的查询。例如，他想输入以下形式的查�?/p> actor = "Christopher Reeve" and keyword=action and keyword=adventure �q�且希望�q�回�?Christopher Reeve ��L��?Superman �p�d��?sh��)�?ji��ng)。他�q�希望像下面�q�样用括��h��说明求值次序以区分查询 (actor = "Christopher Reeve" and keyword=action) or keyword=romance �q�样可能�q�回不是�?Christopher Reeve ��L��的电(sh��)�?/p> actor = "Christopher Reeve" and (keyword=action or keyword=romance) �q�样则��M��(x��)�q�回 Christopher Reeve ��L��的电(sh��)影�?/p> 500)this.style.width=500;" /> 500)this.style.width=500;" border="0" /> 回页�?/font> 解决�Ҏ(gu��)�� 对于该�Q务，�(zh��n)�将分两个阶�D�|��定义解决�Ҏ(gu��)��。在�W?1 阶段中，�(zh��n)�将�?JavaCC 定义语言�Q�要��保能够正确解析�l�端用户的查询。在�W?2 阶段中，�(zh��n)�将�?JavaCC 代码��d��行�ؓ(f��)以��?DB2�] SQL 代码�Q�从而确保返回正��的�?sh��)�?ji��ng)来响应终端用��L(f��ng)��查询�?/p> 阶段 1 - 定义用户的查询语�a� ��在名�ؓ(f��) UQLParser.jj 的文仉��定义该语�a�。该文�g��被 JavaCC 工具�~�译成�ؓ(f��)一�l?.java �c�d��?Java �c�L��件。要�?JJ 文�g中定义语�a��Q��?zh��n)�需要做以下 5 件事�Q?/p> 定义解析环境定义“空白�? 定义“标讎ͼ�token�Q��? 按照标记定义语言本��n的语�? 定义每个解析阶段中将发生的行�? �(zh��n)�可以通过所展示的代码段定义自己�?UQLParser.jj 文�g�Q�也可以通过本文的相关代码进行效�ѝ��对于步�?1 �?4�Q�在 JavaCCPaper/stage1/src 中��?UQLParser.jj 的副本。而步�?5 则在 JavaCCPaper/stage2/src 中进行。样本数据库�?DDL 可以�?JavaCCPaper/moviedb.sql 中找到。如果��用相同的用户标识创徏数据库和�q�行解析器，该实例将�q�行得最好。Ant 文�g�Q�build.xml�Q�可用于加快�~�译�q�程�?/p> 步骤 1. 定义解析环境 JavaCC .jj 文�g通过执行 JavaCC ��被转换�?.java 文�g。JavaCC ��获�?.jj 文�g�?PARSER_BEGIN �?PARSER_END 的中间部分�ƈ��之复制�?Java �l�果文�g中。作��析器设计者，�(zh��n)�可以将解析前后所有与解析器有关的动作�|�于该文件中。�?zh��n)��q�可以在其中��?Java 代码链接到步�?4 �?5 中将�?x��)定义的解析器动作上�?/p> 在以下所�C�的实例中，解析器相�Ҏ(gu��)��较简单。构造函�?UQLParser 接收一个字�W�串输入�Q�通过 Java �?java.io.StringReader �c�d��其读入，然后调用另一个不可见的构造函数将 StringReader 强制转换�?Reader。这里定义的惟一其他�Ҏ(gu��)��是 static main �Ҏ(gu��)��Q�该�Ҏ(gu��)��在调用构造函��C��后再调用�q�今�q�未定义的名�?parse() 的方法�?/p> 正如�(zh��n)�可能已猜到的，JavaCC 已经提供�?ji��n)一�?Java Reader �cȝ��构造函数。而我们添加了(ji��n)��Z��字符串的构造函敎ͼ�以便易于使用和测试�?/p> 清单 1. 解析器的 Java 环境 PARSER_BEGIN(UQLParser) package com.demo.stage1; import java.io.StringReader; import java.io.Reader; public class UQLParser { /** A String based constructor for ease of use. **/ public UQLParser(String s) { this((Reader)(new StringReader(s))); } public static void main(String args[]) { try { String query = args[0]; UQLParser parser = new UQLParser(query); parser.parse(); } catch(Exception e) { e.printStackTrace(); } } } PARSER_END(UQLParser) 步骤 2. 定义�I�白在该语言中，�(zh��n)�希望将�I�格、蟩根{��回车和换行作�ؓ(f��)分隔�W�处理，而不是将其忽略。这些字�W�都被称�?�I�白。在 JavaCC 中，我们�?SKIP 区域中定义这些字�W�，如清�?2 中所�C��? 清单 2. �?SKIP 区域中定义空�?/b> /** Skip these characters, they are considered "white space" **/ SKIP : { " " | "\\t" | "\\r" | "\\n" } 步骤 3. 定义标记接下来，�(zh��n)�将定义该语�a�所识别的标记�?标记是将对解析程序有意义的解析字�W�串的最��单位。扫描输入字�W�串以及(qi��ng)判断是何标记的过�E�称�?记号赋予器（tokenizer�Q?/i>。在以下查询中， actor = "Christopher Reeve" 其标��Cؓ(f��) actor = "Christopher Reeve" 在�?zh��n)�的语�a�中，�(zh��n)�要��?actor 和等��P��=�Q�作��语言中的保留标记�Q�尽��字 if�?instanceof�?Java 语言中都是带有特�D�意义的保留标记。通过保留字和其他�Ҏ(gu��)��标记�Q�程序员希望解析器会(x��)逐字地识别这些字�q��ؓ(f��)其指�z��定的意义。如果�?zh��n)�正在保留�q�些字，��L(f��ng)��l�进行下��dƈ且保留不�{�号�Q?lt;>�Q�和左右括号。还要保留名�U�、导演和关键字以表示用于用户搜烦(ch��)的特定字�D�c(di��n)�? 要定义所有这些内容，请��?JavaCC �?TOKEN 指��o(h��)。每个标记的定义都用��括��P��< �?>�Q�括��h��。在冒号�Q?�Q�的左边�l�出标记的名�U�ͼ��q�在双��l�出正则表达式。正则表辑ּ�是定义将要匹配的文本部分的方式。在其最��单的形式中，正则表达式可以匹配精��的字符序列。��用下列代码来定义六个匚w��_��字的标记和四个匹配符��L(f��ng)��标记。当分析器看��C�Q何一个字�Ӟ��会(x��)用符�?AND、OR、TITLE、ACTOR、DIRECTOR �?KEYWORD 来加以匹配。在匚w��W�号之后�Q�解析器��相应地�q�回 LPAREN、RPAREN、EQUALS �?NOTEQUAL。清�?3 展示�?JavaCC 保留标记的定义�?/p> 清单 3. 定义保留标记 TOKEN: /*RESERVED TOKENS FOR UQL */ { | | | | | | | | "> } 对于像“Christopher Reeve”一��L(f��ng)��字符�Ԍ��(zh��n)�或许无法在我们的语�a�中将所有的演员姓名存储��Z��留字。但是，�(zh��n)�可以通过使用正则表达式定义的字符模式识别 STRING �?QUOTED_STRING �c�d��的标记�?正则表达�?/i>是定义匹配模式的字符丌Ӏ�定义匹配所有字�W�串或引用字�W�串的正则表辑ּ�要比定义�_��的字匚w��更具技巧性�? �(zh��n)�将定义一个由一个或更多字符�p�d��构成的字�W�串�Q�STRING�Q�，其中的有效字�W��ؓ(f��)大小写的 A �?Z 以及(qi��ng)数字 0 �?9。�ؓ(f��)�?ji��n)简单�v见，不考虑定媄(ji��ng)明星或电(sh��)影名�U�的重音字符或其他不规则体。�?zh��n)�可以按下列方式将该模式写��Z��个正则表辑ּ��?/p> 加号表示围在括号中的模式�Q�从 A �?Z、a �?z �?0 �?9 中的��M��字符�Q�可依次出现一�ơ或多次。在 JavaCC 中，�(zh��n)�还可以用星��P��*�Q�来表示模式的零�ơ或多次出现以及(qi��ng)用问��P��Q�）(j��)来表�C?0 �?1 此重复�?/p> QUOTED_STRING ��更��h��巧性了(ji��n)。如果�?zh��n)�定义一个以引号开��_(d��)��以引��L(f��ng)��ƈ在其中包含�Q何其他字�W�的字符�Ԍ��那么该字�W�串��是一�?QUOTED_STRING。其正则表达式�ؓ(f��) "\\"" (~["\\""])+ "\\"" �Q�这肯定有些��D��~��ؕ的。简单一点理解就是，�׃��引用字符本��n对于 JavaCC 是有意义的，因此我们需要将对它的引用�{换�ؓ(f��)�Ҏ(gu��)��们的语言而非 JavaCC 是有意义的。�ؓ(f��)�?ji��n)�{换该引用�Q�我们在它之前��用了(ji��n)一个反斜杠。字�W�颚化符��P��~�Q�意味着�q��是针�?JavaCC 记号赋予器的�?(~["\\""])+ 是对于一个或更多非引用字�W�的速写。合在一��P�� "\\"" (~["\\""])+ "\\"" ��意味着“一个引用加上一个或更多非引用再加上一个引用”�? �(zh��n)�必��d��保留字规则之后添�?STRING �?QUOTED_STRING 的记可��予器规则。保持该�ơ序是极光��要的�Q�因��可��予器规则在文件中出现的次序就是应用标记规则的�ơ序。�?zh��n)�需要确定“title”是被视作保留字而非字符串的。清�?4 中显�C�Z��(ji��n) STRING �?QUOTED_STRING 标记的完整定义�?/p> 清单 4. 定义 STRING �?QUOTED_STRING TOKEN : { } 步骤 4. 按照标记定义语言既然已经定义�?ji��n)标讎ͼ�那么现在是时候按照标记来定义解析规则�?ji��n)。用戯��入表辑ּ�形式的查询。一�?表达�?/i>��是一�p�d��?布尔�q�算�W?/i>and�?or�q�接的一个或更多查询��V�? ��Z��(ji��n)表达�q�一点，我们需要编写一个解析规则，也称�?产生�?/i>。将清单 5 中的产生式写�?JavaCC UQLParser.JJ 文�g�? 清单 5. expression() 产生�?/b> void expression() : { } { queryTerm() ( ( | ) queryTerm() )* } 当对 .jj 文�g�q�行 Javacc �Ӟ��产生式将被�{换�ؓ(f��)�Ҏ(gu��)��。所有的 JavaCC 产生式方法的�q�回都必��Mؓ(f��)�I�。第一�l�花括号包含产生式方法所需的所有声明。这里暂时�ؓ(f��)�I�。第二组花括号包含以 JavaCC 理解的方式所写的产生式规则。请注意先前所定义�?AND �?OR 标记的用法。还��h��意，queryTerm() 是作为方法调用而写的。实际上�Q�queryTerm() 是另一个��生式�Ҏ(gu��)��?/p> 现在�Q�就让我们定�?queryTerm() 产生式。queryTerm() 要么是一个单独的判别式（例如 title="The Matrix"�Q�，要么是一个由括号括�v来的表达式。JavaCC 中通过 expression() 递归地定义了(ji��n) queryTerm()�Q�这使得�(zh��n)�可以通过清单 6 中所�C�的代码��明地�ȝ��该语�a��?/p> 清单 6. JavaCC 中的 queryTerm() 产生式方法（UQLParser.jj�Q?/b> void queryTerm() : { } { ( | <ACTOR> | <DIRECTOR> | <KEYWORD>) ( <EQUALS> | <NOTEQUAL>) ( <STRING> | <QUOTED_STRING> ) | <LPAREN> expression() <RPAREN> } </code> </pre> </td> </tr> </tbody> </table> �q�就是我们所需的所有规则。两个��生式中�ȝ��?ji��n)全部的语言解析器�?/p> <a name="IDAERUNB"> ��?JavaCC 当作��试驱动�?/strong> </a> 在这个时候，�(zh��n)�应该已�l�有�?ji��n)一个有效的 JavaCC 文�g。在�q�行到步�?5 之前�Q��?zh��n)�可以�~�译�q�“运行”该�E�序以查看�?zh��n)�的解析器�q�作是否正确�?/p> 随本文一��h��供的 ZIP 文�g应包含了(ji��n)阶段 1 �?JavaCC �C�Z��文�g UQLParser.jj。将整个 ZIP 文�g解压��C��个空目录下。要�~�译 stage1/UQLParser.jj�Q��?zh��n)�首先需要下�?JavaCC �q�根�?<a >JavaCC Web ��?/font></a> 上的指导�q�行安装。�ؓ(f��)�?ji��n)简单�v见，请务必将 Javacc.bat 的执行�\径填�?PATH 环境变量中。编译十分容易，��目录更改�ؓ(f��)卸蝲 UQLParser.jj 的位�|��ƈ输入下列命��o(h��)�? <code> javacc "debug_parser " output_directory=.\\com\\demo\\stage1 UQLParser.jj </code> 如果�(zh��n)�愿意，也可以��用附带的 <a >Ant</a> 文�g build.xml。�?zh��n)�必须��上方的属性文件调整�ؓ(f��)指向 JavaCC 安装。在�(zh��n)�第一�ơ运行它�Ӟ��JavaCC ��生成如清单 7 中所�C�的消息�? <a name="IDAZRUNB"> 清单 7. UQLParser.jj 的编译输�?/b> </a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"> <tbody> <tr> <td> <pre> <code class="section"> Java Compiler Compiler Version 3.2 (Parser Generator) (type "javacc" with no arguments for help) Reading from file UQLParser.jj . . . File "TokenMgrError.java" does not exist. Will create one. File "ParseException.java" does not exist. Will create one. File "Token.java" does not exist. Will create one. File "SimpleCharStream.java" does not exist. Will create one. Parser generated successfully. </code> </pre> </td> </tr> </tbody> </table> 除了(ji��n)已提到的四个文�g�Q�JavaCC �q�将产生 UQLParser.java、UQLParserConstants.java �?UQLParserTokenManager.java。所有这些文仉��被写入了(ji��n) com\\demo\\stage1 目录。此时�v�Q��?zh��n)��p��够编译这些文件且无需向默认的�q�行时类路径做�Q何添加了(ji��n)。如�?JavaCC 步骤�q�行成功�Q�Ant 文�g的默认目标将自动执行 Java �~�译。如果没有成功，�(zh��n)�可以用以下命��o(h��)�~�译��层目录�Q�JavaCCPaper/stage1�Q�的文�g�Q?/p> <code> javac "d bin src\\com\\demo\\stage1\\*.java </code> Java �c�L��件一旦就位，�(zh��n)�就可以通过向�?zh��n)�所定义�?"main" java �Ҏ(gu��)��输入下列用户�C�Z��查询来测试新的解析器�?ji��n)。如果�?zh��n)�正��用同一代码�Q�请�?JavaCCPaper/stage1 目录开始�ƈ在命令行中输入下列命令�?/p> <code> java "cp bin com.demo.stage1.UQLParser "actor = \\"Tom Cruise\\"" </code> 我们�?JavaCC 步骤中所使用�?<code>-debug_parser</code> 选项��保��输��Z��列有用的跟踪消息�Q�以昄��用户查询是如何被解析的。其输出应该如清�?8 中所�C��? <a name="IDARSUNB"> 清单 8. 查询 actor="Tom Cruise" �?UQLParser 输出 </a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"> <tbody> <tr> <td> <pre> <code class="section"> Call: parse Call: expression Call: queryTerm Consumed token: <"actor"> Consumed token: <"="> Consumed token: <<QUOTED_STRING>: ""Tom Cruise""> Return: queryTerm Return: expression Consumed token: <<EOF>> Return: parse </code> </pre> </td> </tr> </tbody> </table> 要测试带括号表达式的递归路径�Q�请��试以下��试�?/p> <code> java "cp bin com.demo.stage1.UQLParser "(actor=\\"Tom Cruise\\" or actor=\\"Kelly McGillis\\") and keyword=drama" </code> �q�将产生清单 9 中的输出�?/p> <a name="IDAATUNB"> 清单 9. 查询 (actor="Tom Cruise" or actor="Kelly McGillis") and keyword=drama �?UQL1Parser 输出 </a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"> <tbody> <tr> <td> <pre> <code class="section"> Call: parse Call: expression Call: queryTerm Consumed token: <"("> Call: expression Call: queryTerm Consumed token: <"actor"> Consumed token: <"="> Consumed token: <<QUOTED_STRING>: ""Tom Cruise""> Return: queryTerm Consumed token: <"OR"> Call: queryTerm Consumed token: <"actor"> Consumed token: <"="> Consumed token: <<QUOTED_STRING>: ""Kelly McGillis""> Return: queryTerm Return: expression Consumed token: <")"> Return: queryTerm Consumed token: <"AND"> Call: queryTerm Consumed token: <"keyword"> Consumed token: <"="> Consumed token: <<STRING>: "drama"> Return: queryTerm Return: expression Consumed token: <<EOF>> Return: parse </code> </pre> </td> </tr> </tbody> </table> 该输出十分有用，因�ؓ(f��)它演�C�Z��(ji��n)通过 queryTerm �?expression 的递归。queryTerm 的第一个实例实际上��是一个由两个 queryTerm �l�成的表辑ּ��?<a >�?1</a>展示�?ji��n)该解析路径的图形视图�? <a name="fig1"> �?1. 解析用户查询的图形表�C?/b> </a> 500)this.style.width=500;" /> 如果�(zh��n)�对�?JavaCC 生成怎样�?Java 代码感到好奇�Q�就惛_��Ҏ(gu��)��看一看（但不要试图进行�Q何更改！�Q�。�?zh��n)��找��C��下内宏V�? UQLParser.java —�?在这一文�g中，�(zh��n)�将扑ֈ��(zh��n)�在 UQLParser.jj 文�g里的 PARSER_BEGIN �?PARSER_END 之间所攄��的代码。�?zh��n)��q�会(x��)发现 JJ 产生式方法已�l�被改变�?Java �Ҏ(gu��)��?ji��n)�?例如�Q�expression() 规则已将被扩展�ؓ(f��)清单 10 中的代码�?ji��n)�?/p><a name="IDAEUUNB">清单 10. UQLParser.java</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">static final public void expression() throws ParseException { trace_call("expression"); try { queryTerm(); label_1: while (true) { switch ((jj_ntk==-1)?jj_ntk():jj_ntk) { case AND: case OR: ; break; default: jj_la1[0] = jj_gen; break label_1; } switch ((jj_ntk==-1)?jj_ntk():jj_ntk) { case AND: jj_consume_token(AND); break; case OR: jj_consume_token(OR); break; default: jj_la1[1] = jj_gen; jj_consume_token(-1); throw new ParseException(); } queryTerm(); } } finally { trace_return("expression"); } } </code></pre></td></tr></tbody></table> 它与�(zh��n)�最初在其中写入 queryTerm()、AND �?OR 所呈现的样子有些相像，但其余的��是 JavaCC 所��d��的解析细节�?/p>UQLParserConstants.java —�?该文件易于得到。�?zh��n)�所定义的所有标记都在这里。JavaCC 只不�q�将它们记录在数�l�中�q�提供整型常数来引用该数�l�。清�?11 展示�?UQLParserConstants.java 的内宏V�?<a name="IDASUUNB">清单 11. UQLParserConstants.java</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">/* Generated By:JavaCC: Do not edit this line. UQLParserConstants.java */ package com.demo.stage1; public interface UQLParserConstants { int EOF = 0; int AND = 5; int OR = 6; int TITLE = 7; int ACTOR = 8; int DIRECTOR = 9; int KEYWORD = 10; int LPAREN = 11; int RPAREN = 12; int EQUALS = 13; int NOTEQUAL = 14; int STRING = 15; int QUOTED_STRING = 16; int DEFAULT = 0; String[] tokenImage = { "<EOF>", "\\" \\"", "\\"\\\\t\\"", "\\"\\\\r\\"", "\\"\\\\n\\"", "\\"and\\"", "\\"or\\"", "\\"title\\"", "\\"actor\\"", "\\"director\\"", "\\"keyword\\"", "\\"(\\"", "\\")\\"", "\\"=\\"", "\\"<>\\"", "<STRING>", "<QUOTED_STRING>", }; } </code></pre></td></tr></tbody></table> UQLParserTokenManager.java —�?�q�是一个嵌接文件。JavaCC ��该�cȝ��作记可��予器。这是一�D늡�定标��Cؓ(f��)什么的代码。这里让人感兴趣的首要例�E�是 GetNextToken。解析器产生式方法将用该例程来判断采用哪条�\�l��?SimpleCharStream.java —�?UQLParserTokenManager 用该文�g来表�C�将被解析的字符�?ASCII ��?Token.java —�?其中提供�?Token �c�L��表示标记本��n。本文的下一部分��演�C?Token �cȝ��用途�?TokenMgrError.java and ParseException—�?�q�些�c�d��别表�C��可��予器和分析器中的异常状况�?<a name="IDAIVUNB">阶段 2 - �l?JavaCC 代码��d��行�ؓ(f��)</a>注意�Q?/strong>关于教程的这一部分�Q�请查阅代码�?stage2 子目录。从�q�里开始所展示�?JJ 文�g��是 JavaCCPaper/stage2/UQLParser.jj。�ؓ(f��)�?ji��n)运行示�?SQL 查询�Q��?zh��n)��q�应该通过附带�?moviedb.sql 文�g创徏 MOVIEDB 数据库。请通过 <code>db2 -tf moviedb.sql</code> 执行 DDL�?既然已经�q�行�?ji��n)解析，我们��需要对单个表达式采取行动了(ji��n)。这一阶段的目标是生成可运行的 DB2 SQL 查询�q�将�q�回用户期望的结果�?/p>该过�E�应该首先从一个包含空白处的模�?SELECT�Q�解析器��填写此�I�白处�?<a >清单 12</a>中显�C�Z��(ji��n) SELECT 模板。解析器所生成的查询或�怸�像�h�c?DBA 所写的那样为最佳的�Q�但是它?y��u)��返回终端用��h��期望的正��结果�?<a name="listing12">清单 12. SELECT 语句</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">SELECT TITLE, DIRECTOR FROM MOVIE WHERE MOVIE_ID IN ( -- parser will fill in here-- ); </code></pre></td></tr></tbody></table> 解析器填入的内容取决于它通过记号赋予器所采用的�\径。例如，如果用户从上面输入查询：(x��)<code>(actor="Tom Cruise" or actor="Kelly McGillis") and keyword=drama" </code>那么解析器将�Ҏ(gu��)�� <a >�?2</a> �?SQL 查询的遗漏部分中发出文本。它?y��u)��回送括��P��输入�l�端 queryTerm 的子查询�q�且�?INTERSECT 代替 AND 以及(qi��ng) UNION 代替 OR�? <a name="fig2">�?2. SQL 查询的解析器输出</a> 500)this.style.width=500;" /> �q�将��保 SQL 查询发出<code>(actor = "Tom Cruise" or actor = "Kelly McGillis") and keyword=drama </code>��如清单 13 中所�C��?/p><a name="IDADXUNB">清单 13. 完整�?SELECT 语句</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">SELECT TITLE, DIRECTOR FROM MOVIE WHERE MOVIE_ID IN ( ( SELECT MOVIE_ID FROM ACTOR WHERE NAME='Tom Cruise' UNION SELECT MOVIE_ID FROM ACTOR WHERE NAME='kelly McGillis' ) INTERSECT SELECT MOVIE_ID FROM KEYWORD WHERE KEYWORD='drama' ); </code></pre></td></tr></tbody></table> 正如前面提到的，很可能存在更快、更优的�Ҏ(gu��)��来编写这个特定的查询�Q�但是此 SQL ��生成正��的�l�果。DB2 优化器通常可以解决性能斚w��的不��?/p>因此�Q�需要向 JavaCC 源代码添加什么来生成该查询呢�Q��?zh��n)�必须��d��动作和其他支持所定义语法的代码�?动作是指为响应特定��生式而执行的 Java 代码。在��d��动作之前�Q�首先要��d��向调用�E�序�q�回完整 SQL 的方法。�ؓ(f��)此，要在 JavaCC 文�g的最上部分添加一个名�?<code>getSQL()</code> 的方法。�?zh��n)��q�应该给解析器的内部成员��d�� private StringBuffer sqlSB。该变量��表�C�Z�Q何解析阶�D늚�当前 SQL 字符丌Ӏ?<a >清单 14</a> 展示�?UQLParser.jj �?PARSER_BEGIN/PARSER_END 部分。最后，�?main() ��试�Ҏ(gu��)��中添加一些代码，用以输出和执行所生成�?SQL 查询�?<a name="listing14">清单 14. PARSER_BEGIN/PARSER_END 部分</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">PARSER_BEGIN(UQLParser) package com.demo.stage2; import java.sql.DriverManager; import java.sql.Connection; import java.sql.Statement; import java.sql.ResultSet; import java.sql.Statement; import java.lang.StringBuffer; import java.io.StringReader; import java.io.Reader; public class UQLParser { private static StringBuffer sqlSB; // internal SQL representation. public UQLParser(String s) { this((Reader)(new StringReader(s))); sqlSB = new StringBuffer(); } public String getSQL() { return sqlSB.toString(); } public static void main(String args[]) { try { String query = args[0]; UQLParser parser = new UQLParser(query); parser.parse(); System.out.println("\\nSQL Query: " + parser.getSQL()); // Note: This code assumes a // default connection // (current userid and password). System.out.println("\\nResults of Query"); Class.forName( "COM.ibm.db2.jdbc.app.DB2Driver" ).newInstance(); Connection con = DriverManager.getConnection( "jdbc:db2:moviedb"); Statement stmt = con.createStatement(); ResultSet rs = stmt.executeQuery(parser.getSQL()); while(rs.next()) { System.out.println("Movie Title = " + rs.getString("title") + " Director = " + rs.getString("director")); } rs.close(); stmt.close(); con.close(); } catch(Exception e) { e.printStackTrace(); } } } PARSER_END(UQLParser) </code></pre></td></tr></tbody></table> 现在�Q�填入由解析器来完成的动作。我们将先从一个容易的开始。在解析一个表辑ּ�的时候，解析器每当解析“AND”时��发出字“INTERSECT”，而解析“OR”时��发出“UNION”。�ؓ(f��)此，要在 expression 产生式中�?<AND> �?<OR> 标记之后插入自包含的 Java 代码块。该代码应向 sqlSB StringBuffer �q�加 INTERSECT �?UNION。清�?15 中显�C�Z��(ji��n)�q�些代码�?/p><a name="IDAJYUNB">清单 15. expression 所执行的动�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">void expression() : { } { queryTerm() ( ( <AND> { sqlSB.append("\\nINTERSECT\\n"); } | <OR> { sqlSB.append("\\nUNION\\n"); } ) queryTerm() )* } </code></pre></td></tr></tbody></table> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">queryTerm()</code></pre></td></tr></tbody></table> 产生式内需要执行多个动作。这些�Q务如下：(x��) <ol><li>��搜索名�U�映��到它们各自�?DB2 表和列上 </li><li>保存比较器（comparator�Q�标�? </li><li>��比较字�Q�comparand�Q��{换�ؓ(f��) DB2 可以理解的�Ş式，例如�Q�除�?QUOTED_STRING 标记的双引号 </li><li>�?sqlSB 发送合适的子查�? </li><li>对于递归表达式的情况�Q�随之发出括受��?</li></ol>对于所有这些�Q务，�(zh��n)�将需要一些局部变量。如清单 16 中所�C�，�q�些变量是在产生式中�W�一对花括号之间定义的�?/p><a name="IDAAZUNB">清单 16. queryTerm() 的局部变�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">void queryTerm() : { Token tSearchName, tComparator, tComparand; String sComparand, table, columnName; } </code></pre></td></tr></tbody></table> �W�一个�Q务可用清�?17 中的代码来完成。设�|�与所遇标记关联的合适的 DB2 表和列�?/p><a name="IDALZUNB">清单 17. ��搜索名�U�映��到 DB2</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section"> ( <TITLE> {table = "movie"; columnName = "title"; } | <DIRECTOR> {table = "movie"; columnName = "director"; } | <KEYWORD> {table = "keyword"; columnName = "keyword"; } | <ACTOR> {table = "actor"; columnName = "name"; } ) </code></pre></td></tr></tbody></table> �W�二个�Q务可用清�?18 中的代码来完成。保存标��C��便可用于 SQL �~�冲区�?/p><a name="IDAWZUNB">清单 18. 保存比较�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section"> ( tComparator=<EQUALS> | tComparator=<NOTEQUAL> ) </code></pre></td></tr></tbody></table> �W�三个�Q务可用清�?19 中的代码来完成。相应地讄��比较字的��|��如果有必要，��׃�� QUOTED_STRING 标记中除��d��引号�?/p><a name="IDAB0UNB">清单 19. 准备比较�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section"> tComparand=<STRING> { sComparand = tComparand.image; } | tComparand=<QUOTED_STRING> { // need to get rid of quotes. sComparand = tComparand.image.substring(1, tComparand.image.length() - 1); } </code></pre></td></tr></tbody></table> �W�四个�Q务可用清�?20 中的代码来完成。完整的查询��被�q�加��C��(ji��n) sql �~�冲区�?/p><a name="IDAM0UNB">清单 20. �~�写 SQL 表达�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section"> { sqlSB.append("SELECT MOVIE_ID FROM ").append(table); sqlSB.append("\\nWHERE ").append(columnName); sqlSB.append(" ").append(tComparator.image); sqlSB.append(" '").append(sComparand).append("'"); } </code></pre></td></tr></tbody></table> 最后对于递归表达式的情况�Q�当解析器在表达式递归中看到括��h��Q�就应该��单地�q�行回送，如清�?21 中所�C��?/p><a name="IDAX0UNB">清单 21. 回送括�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section"> <LPAREN> { sqlSB.append("("); } expression() <RPAREN> { sqlSB.append(")"); } </code></pre></td></tr></tbody></table> 清单 22 展示�?ji��n)完整�?queryTerm() 产生式�?/p><a name="IDAC1UNB">清单 22. 完整�?queryTerms() 产生�?/b></a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">/** * Query terms may consist of a parenthetically * separated expression or may be a query criteria * of the form queryName = something or * queryName <> something. * */ void queryTerm() : { Token tSearchName, tComparator, tComparand; String sComparand, table, columnName; } { ( <TITLE> {table = "movie"; columnName = "title"; } | <DIRECTOR> {table = "movie"; columnName = "director"; } | <KEYWORD> {table = "keyword"; columnName = "keyword"; } | <ACTOR> {table = "actor"; columnName = "name"; } ) ( tComparator=<EQUALS> | tComparator=<NOTEQUAL> ) ( tComparand=<STRING> { sComparand = tComparand.image; } | tComparand=<QUOTED_STRING> { // need to get rid of quotes. sComparand = tComparand.image.substring(1, tComparand.image.length() - 1); } ) { sqlSB.append("SELECT MOVIE_ID FROM ").append(table); sqlSB.append("\\nWHERE ").append(columnName); sqlSB.append(" ").append(tComparator.image); sqlSB.append(" '").append(sComparand).append("'"); } | <LPAREN> { sqlSB.append("("); } expression() <RPAREN> { sqlSB.append(")"); } } </code></pre></td></tr></tbody></table> 像前面一��L(f��ng)��译�ƈ�q�行 UQLParser.jj。访�?UQLParser.java �q�注意��生式规则是如何被整齐地插入生成代码中的。清�?23 中展�C�Z��(ji��n)一�?expression() �Ҏ(gu��)��的扩展实例。请注意 jj_consume_token 调用之后的代码�?/p><a name="IDAN1UNB">清单 23. UQLParser.java 中的 expression() �Ҏ(gu��)��</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">/** * An expression is defined to be a queryTerm followed by zero * or more query terms joined by either an AND or an OR. If two * query terms are joined with * AND then both conditions must * be met. If two query terms are joined with an OR, then * one of the two conditions must be met. */ static final public void expression() throws ParseException { trace_call("expression"); try { queryTerm(); label_1: while (true) { switch ((jj_ntk==-1)?jj_ntk():jj_ntk) { case AND: case OR: ; break; default: jj_la1[0] = jj_gen; break label_1; } switch ((jj_ntk==-1)?jj_ntk():jj_ntk) { case AND: jj_consume_token(AND); sqlSB.append("\\nINTERSECT\\n"); break; case OR: jj_consume_token(OR); sqlSB.append("\\nUNION\\n"); break; default: jj_la1[1] = jj_gen; jj_consume_token(-1); throw new ParseException(); } queryTerm(); } } finally { trace_return("expression"); } } </code></pre></td></tr></tbody></table> 按前面一栯��行该代码。�?zh��n)�必须�?CLASSPATH 中包�?db2java.zip。这�ơ，当�?zh��n)��q�行<code>java 'cp bin;c:/sqllib/db2java.zip com.demo.stage2.UQLParser "(actor=\\"Tom Cruise\\" or actor=\\"Kelly McGillis\\") and keyword=drama" </code>�Ӟ��它将生成清单 24 中的输出�?/p><a name="IDA21UNB">清单 24. 查询 (actor="Tom Cruise" or actor="Kelly McGillis") and keyword=drama �?UQL2Parser 输出</a> <table cellspacing="0" cellpadding="5" width="100%" bgcolor="#eeeeee" border="1"><tbody><tr><td><pre><code class="section">Call: parse Call: expression Call: queryTerm Consumed token: <"("> Call: expression Call: queryTerm Consumed token: <"actor"> Consumed token: <"="> Consumed token: <<QUOTED_STRING>: ""Tom Cruise""> Return: queryTerm Consumed token: <"or"> Call: queryTerm Consumed token: <"actor"> Consumed token: <"="> Consumed token: <<QUOTED_STRING>: ""Kelly McGillis""> Return: queryTerm Return: expression Consumed token: <")"> Return: queryTerm Consumed token: <"and"> Call: queryTerm Consumed token: <"keyword"> Consumed token: <"="> Consumed token: <<STRING>: "drama"> Return: queryTerm Return: expression Consumed token: <<EOF>> Return: parse SQL Query: SELECT TITLE,DIRECTOR FROM MOVIE WHERE MOVIE_ID IN ( (SELECT MOVIE_ID FROM actor WHERE name = 'Tom Cruise' UNION SELECT MOVIE_ID FROM actor WHERE name = 'Kelly McGillis') INTERSECT SELECT MOVIE_ID FROM keyword WHERE keyword = 'drama') Results of Query Movie Title = Top Gun Director = Tony Scott Movie Title = Witness Director = Peter Weir </code></pre></td></tr></tbody></table> ��试更多使用�(zh��n)�的解析器的查询。试一试��?NOTEQUAL 标记的查询，比如 actor<>"Harrison Ford"。尝试一些像“title=”一��L(f��ng)��非法查询�Q�看看将发生什么情��c(di��n)��通过非常��的几行 JavaCC 代码�Q��?zh��n)��q��成了(ji��n)非常有效的终端用��h��询语�a��?/p> <table cellspacing="0" cellpadding="0" width="100%" border="0"><tbody><tr><td>500)this.style.width=500;" /></td></tr></tbody></table><table class="no-print" cellspacing="0" cellpadding="0" align="right"><tbody><tr align="right"><td><table cellspacing="0" cellpadding="0" border="0"><tbody><tr><td valign="center">500)this.style.width=500;" border="0" /> </td><td valign="top" align="right"><a class="fbox" >回页�?/font></a></td></tr></tbody></table></td></tr></tbody></table> <a name="3">最后要考虑的问�?/font></a>JavaCC 除了(ji��n)提供解析器生成器之外�Q�还提供 JJDOC 工具�Q�用以编制巴�U�斯-诺尔范式�Q�Bacchus-Nauer Form�Q�表�C�的语法。JJDOC 可以使�?zh��n)�易于向终端用��h��供他们所使用语言的描�q�。例如，在附带代码中提供�?ant 文�g有一个“bnfdoc”目标�?/p>JavaCC �q�提供名�?JJTree 的工兗��该工具提供�?w��i)和节点�c�，使�?zh��n)�易于��代码分成单��ȝ��解析和动作类。��l�该实例�Q��?zh��n)�可以考虑为查询编写一个简单优化器�Q�以消除不必要的 INTERSECT �?UNION。�?zh��n)�可以通过讉K��解析�?w��i)的节点以�?qi��ng)合�ƈ�怼�的相邻节点（例如�Q�actor="Tom Cruise" �?actor="Kelly McGillis"�Q�来完成该工作�?/p>JavaCC 拥有一个丰富的语法库。�?zh��n)�在自��q��写解析器之前�Q�一定要查看 JavaCC �?examples 目录�Q�以便可能获取已构徏好的解决�Ҏ(gu��)��?/p>请务必阅�?JavaCC Web ��上�?Frequently Asked Questions �q�访�?<a >comp.compilers.tools.javacc</a> 上的 javacc 新闻�l�以便更好地理解 JavaCC 的所有功能和�Ҏ(gu��)��? <table cellspacing="0" cellpadding="0" width="100%" border="0"><tbody><tr><td>500)this.style.width=500;" /></td></tr></tbody></table><table class="no-print" cellspacing="0" cellpadding="0" align="right"><tbody><tr align="right"><td><table cellspacing="0" cellpadding="0" border="0"><tbody><tr><td valign="center">500)this.style.width=500;" border="0" /> </td><td valign="top" align="right"><a class="fbox" >回页�?/font></a></td></tr></tbody></table></td></tr></tbody></table> <a name="4">�l�束�?/font></a>JavaCC 是一个健壮的工具�Q�可用于定义语法�q�且易于�?Java 商业应用�E�序中包含该语法的解析和异常处理。通过本文�Q�我们说明了(ji��n) JavaCC 可用于�ؓ(f��)数据库系�l�的�l�端用户提供一�U�功能强大却很简单的查询语言�?/p> <table cellspacing="0" cellpadding="0" width="100%" border="0"><tbody><tr><td>500)this.style.width=500;" /></td></tr></tbody></table><table class="no-print" cellspacing="0" cellpadding="0" align="right"><tbody><tr align="right"><td><table cellspacing="0" cellpadding="0" border="0"><tbody><tr><td valign="center">500)this.style.width=500;" border="0" /> </td><td valign="top" align="right"><a class="fbox" >回页�?/font></a></td></tr></tbody></table></td></tr></tbody></table> <a name="resources">参考资�?</a><ul><li>�(zh��n)�可以参阅本文在 developerWorks 全球站点上的 <a >英文原文</a>. </li><li>可在 <a >JavaCC �|�站</a>上找�?JavaCC �E�序包�? </li><li>�?Johnson�Q�Stephen C�Q�AT&T Bell Laboratories�Q�Murray Hill�Q�New Jersey 07974�Q�所写论�?YACC�Q?<a >Yet Another Compiler Compiler</a>中第一�ơ描�q�C��(ji��n)�q�个可广泛获得的“编译器的编译器”�? </li><li>一��由 Oliver Ensileng 撰写�?JavaWorld 的好文章 <a >Build your own Languages with JavaCC</a>�? </li><li>Jocelyn Paine �?<a >Introduction to JJTree</a>�? </li><li>可在 <a >Wikipedia</a> 中找到对于上下文无关语法的很好解释�? </li></ul> <table cellspacing="0" cellpadding="0" width="100%" border="0"><tbody><tr><td>500)this.style.width=500;" /></td></tr></tbody></table><table class="no-print" cellspacing="0" cellpadding="0" align="right"><tbody><tr align="right"><td><table cellspacing="0" cellpadding="0" border="0"><tbody><tr><td valign="center">500)this.style.width=500;" border="0" /> </td><td valign="top" align="right"><a class="fbox" >回页�?/font></a></td></tr></tbody></table></td></tr></tbody></table> <a name="author">关于作�?/font></a><table cellspacing="0" cellpadding="0" width="100%" border="0"><tbody><tr><td colspan="2">500)this.style.width=500;" /></td></tr><tr valign="top" align="left"><td></td><td>JoAnn Brereton �?IBM �?Software Group�Q�Federal Software Services 的一位高�U��Y件工�E�师。她已�ؓ(f��) IBM �~�程�q?20 �q�了(ji��n)。她最�q�的��目包括�?CBS、Warner Brothers �?CNN �?sh��)视�|�构��档案搜烦(ch��)引擎�?/p></td></tr></tbody></table> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:21 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44765.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?6.数学表达�?</h1> 独孤�q�客 — Sat, 06 May 2006 08:20:00 GMT 摘要: 前言文法分析中最重要��法�? LL自顶向下和LR自底向上��法.前面几篇文章主要讲解的是LL��法的理论和一个LL��法的文法分析器javacc.... <a href='http://m.tkk7.com/landy/archive/2006/05/06/44764.html'>阅读全文</a> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:20 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44764.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?5.实用javacc)</h1> 独孤�q�客 — Sat, 06 May 2006 08:18:00 GMT 摘要: 前言本系列的文章的宗旨是让大家能够写�?gu��)��q��~�译�?解释器或者脚本引�?所以每到理��Z��l�到一个程度后,我都�?x��)来讨论实践问�?理论斚w��,�~�译原理的教材已�l�是够多�?而实�늚�问题却很��讨�? ... <a href='http://m.tkk7.com/landy/archive/2006/05/06/44763.html'>阅读全文</a> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:18 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44763.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?4.文法识别(一))</h1> 独孤�q�客 — Sat, 06 May 2006 08:17:00 GMT <div> 没想到这一�p�d��文�g能得�?span lang="EN-US">csdn和大家的�q�么看好,首先要感谢大家的赏识和csdn的推�?那么我就更没有理�׃��写好�q�下面的几篇文章�?本来我的计划是简单把lex和yacc介绍完后��q��接进入编译器的构造的技术细节问题讨�?但是最�q�看�?ji��n)一些国外经典教材后,发现文法的识别问题在�~�译原理和技术中是个�l�不能忽视的问题.即��现在有了(ji��n)yacc工具来帮助我来识别文�?但是有些时候还是需要我们自己来写简单的语法分析�? 1.什么是文法识别(语法分析) 首先要告诉大家的�?span lang="EN-US">,�q�里的文法识别是指的上下文无关的文法,也就是上一节我们一直在讨论的那�?BNF�? 比如�?span lang="EN-US">,我写�?ji��n)一�? if (a>6+5) printf(“OK!�?; else printf(“No!�?; 那么它匹配的文法也就�?span lang="EN-US"> if-stmt -> if expr stmt | if expr stmt else stmt 我们通常要�ؓ(f��)一个程序语�a�写出很多BNF式的文法,怎么知道�q�句话是匚w��的哪个文�?�q�就是语法分析器(或者叫文法分析器要做的工作).知道�?ji��n)是那句文法�?我们才能对这句话做出正确的解�?所以文法识别是个不可忽视的工作.下面我来看看我们�怋�用的文法识别的算�? 2.自顶向下的算�?LL��法) 自顶向下的语法分析算法是十分��单的.自顶向下的算法也叫LL��法.LL(k)��是向前预测k个符��L(f��ng)��自顶向下的算�?不过无论是我们国内的�~�译教程�q�是国外的经典教�E�都是只讨论�?ji��n)LL(1)��法.因�ؓ(f��)一般的�E�序语言,只��用LL(1)��法��已�l��够了(ji��n).�q�里我们同样也只是讨论LL(1)��法. 其中有种�Ҏ(gu��)��的算法叫做递归下降的算�?span lang="EN-US">,在C语言�?�׃��函数本��n是可以递归�?所以实现这�U�算法就只需要写��单的几个函数的递归�q�程��是�? ��Z��么叫自顶向下�?span lang="EN-US">?因�ؓ(f��)在分析过�E�中,我们是从语法�?w��i)的树(w��i)顶逐步向树(w��i)底分析的,所以叫自顶向下的算�? ��Z��(ji��n)方便说明自顶向下��法的简单�?span lang="EN-US">,我们来看一�?lt;<Compilers Principles,Techniques,and Tools>>中的一个例�?(本系列文章经常要引用国外�l�典著作的范�?希望大家不要告我抄袭,我实在找不到比大师的范例更经典的范例�? �?span lang="EN-US">4.1 考虑一�?span lang="EN-US">Pascal中定义变量的文法. 特别说明,�q�里�?b>dotdot表示�?.�? type -> simple | id | array [ simple ] oftype simple -> integer |char| num dotdot num 在�ؓ(f��)array[ num dotdot num] of integer构造一个分析数的时�?span lang="EN-US">,该算法就是从根结点开�? 下面我们通过其中主要的三个步骤来看看��法的实现原�?span lang="EN-US">. �W�一步分�?span lang="EN-US">: __________________________________________________________________________________ <shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" stroked="f"> <stroke joinstyle="miter"> </stroke> <formulas> <f eqn="if lineDrawn pixelLineWidth 0"> </f> <f eqn="sum @0 1 0"> </f> <f eqn="sum 0 0 @1"> </f> <f eqn="prod @2 1 2"> </f> <f eqn="prod @3 21600 pixelWidth"> </f> <f eqn="prod @3 21600 pixelHeight"> </f> <f eqn="sum @0 0 1"> </f> <f eqn="prod @6 1 2"> </f> <f eqn="prod @7 21600 pixelWidth"> </f> <f eqn="sum @8 21600 0"> </f> <f eqn="prod @7 21600 pixelHeight"> </f> <f eqn="sum @10 21600 0"> </f> </formulas> <path o:extrusionok="f" gradientshapeok="t" o:connecttype="rect"> </path> <lock v:ext="edit" aspectratio="t"> </lock> </shapetype> <shape id="_x0000_i1025" style="WIDTH: 414.75pt; HEIGHT: 112.5pt" type="#_x0000_t75"> 500)this.style.width=500;" o:title="1" /> </shape> 首先分析的是输入的字�W�串�W�一个串”array�?判断出它属于type�?b>First集合.所以在图中的分析树(w��i)部分,我们的当前分析就是树(w��i)根结点type.(图中标上��头,��p��C�是当前正在分析的部�?. �q�里遇到一个新名词:First集合.在大学里的编译课�E�肯定是讲过First集合的吧.不过我还是要在这里重复一�ơ了(ji��n). 名词解释First集合: 在对文法产生式进行判断的时�?span lang="EN-US">,每个产生式都是由好几个终�l�符和非�l�结�W�构�?比如 本例中的文法 type -> simple | id | array [ simple ] oftype simple -> integer |char | num dotdot num 判断type的��生式的时�?如果我们把每个��生式里面的simple,id,array, [ ,simple ,] , of , type�q�些�l�结�W�和非终�l�符都进行判断的�?那么��׃��(x��)涉及(qi��ng)到”试验和错误”的问题.当一个文法��生式分析到最�?发现�q�不匚w��,��必然会(x��)产生回溯的问�?��p��回到�?从新开始对�W�二个��生式逐步�q�行判断分析.我们知道,回溯的算法效率肯定是十分低效率的.但是实际上我们完全可以避免这�U�回溯算�?而完成同样工作的文法分析.�q�就产生�?ji��n)计�?b>First集合的理论和以及(qi��ng)后面�?b>左提公因�?/b>的问�? First集合��单地�?��是一个非�l�结�W�的最开头的字符�?�l�结�W�号)的集�?比如�? First(simple) = { integer, char, num } First(type) = First(simple) U { id, array } �q�里�?span lang="EN-US">type的一个��生式中有个simple非终�l�符在其开�?那么simple的开头字�W�串同时也可以是simple,所以First(simple)也是First(type)的一部分. ��Z��么我们只计算每个非终�l�符的最开头的�l�结�W?span lang="EN-US">? 因�ؓ(f��)我们�q�里是考虑的LL(1)��法,LL(1)��法只向前预��一个字�W�号,所以我们只考虑一个First集合��可以判断出是哪个文法��生式�? �q�里听�v来似乎有些不太可�?span lang="EN-US">,一个��生式有那么千百万�?如果单单只看�W�一个非�l�结�W�号,如果��p��说明一个输入串到底是哪个��生式�? 如果有两个��生式的最开头一��h��么�?比如像if语句,那怎么�? 但其实我们几乎所有的�E�序语言的文法都可以通过LL(1)来分析出�?原因是我们可以通过左提公因�?/b>来把最开头的相同的��生式的公��q��l�符��h��取出�?留下两个子��生式,而他们的最开头的非终�l�符号不相同. 左提公因�?span lang="EN-US">: �?span lang="EN-US">4.2 考虑文法 A -> ab |ac �q�里,A的两个��生式中最开头的�l�结�W�号都是�?b>a�?那么��无法通过�q�个最开头的�l�结�W�号来判断一个输入串到底该是哪个产生式了(ji��n).那么我们可以修改文法�? A -> aA�?/i> A�?/span> -> b | c �q�样一�?span lang="EN-US">,一个文法变成两�?但是无论A�q�是A�?它们的每个��生式�?b>First集合都是不相交的.所�?他们能够只通过最开头的�l�结�W�号来判断是哪个产生�? �q�个变化�q�程有点��x��们的代数里面�?span lang="EN-US"> ab + ac = a(b+c),所以叫它左提公因式. �q�只是个��单的左提公因式的例子,实际当中�q�会(x��)遇到一些复杂的问题.但是无论是哪个编译教�?都会(x��)�l�出针对一切文法的左提公因式的��法.同样,计算First集合的算法也在教材中详细讲解�?我就不在�q�里再描�q�C��(ji��n). �W�二步分�?span lang="EN-US">: __________________________________________________________________________________ <shape id="_x0000_i1026" style="WIDTH: 415.5pt; HEIGHT: 2in" type="#_x0000_t75"> 500)this.style.width=500;" o:title="2" /> </shape> �l�过�W�一步的考察输入串中的第一个串�?span lang="EN-US">”array”属于非�l�结�W�号type�W�三个��生式的First集合,那么��可以确定这个串��实为type文法�W�三个��生式的串.所以在�W�二步中,展开出type的第三个产生式出�? type -> array[ simple ]of integer 那么接下来就是��l�分析构造出来的type -> array[ simple] of integer产生式中的每个结�? 所以箭头又攑ֈ��?ji��n)分析�?w��i)�?span lang="EN-US">type的第一个孩�l�点array�?因�ؓ(f��)array是终�l�符�?如果它和输入中的当前��头所指的�l�结�W�号相同,那么��头都往下移动一�l�点到�?b>[‘符�?同样�?�׃��分析�?w��i)中的�?b>[�?/b>是终�l�符�?那么只要看输入中的串是否是�?b>[‘就可以�?如果�?那么�l�箋往下分�?分析到分析数中的simple的时�?�׃��simple是非�l�结�W�号,那么��需要考虑simple的��生式�? �W�三步分�?span lang="EN-US">: __________________________________________________________________________________ <shape id="_x0000_i1027" style="WIDTH: 414.75pt; HEIGHT: 234.75pt" type="#_x0000_t75"> 500)this.style.width=500;" o:title="3" /> </shape> 在第二步�?span lang="EN-US">,分析到分析数中的simple子结点的时�?�׃��simple是非�l�结�W�号,那么��需要考虑simple的��生式.simple一共有三个产生�?通过输入串当前的串是�?b>num�?是属于simple产生式中�W?个��生式的First集合,所以simple在分析数中就按第三个产生�?i>simple -> num dotdot num 来展开.那么分析��头同样,也自动移动到simple的第一个子�l�点num上��l�分�? ��M��说来,�q�中自顶向下的分析原理就基本上是上面的过�E?通过计算产生式的First集合,来逐步产生非终�l�符的��生式.最后的分析�?w��i)都会(x��)划归到�l�结�W�来�q�行判断(非终�l�符��h��无法�q�行直接判断�?一定要展开�q�后才行). 看了(ji��n)原理,我们再看实现的伪代码.代码很简�? ________________________________________________________________________ void match(char token) { if lookahead == token) lookahead = token; else error(0); } void type() { if( lookahead == integer || lookeahead == char || lookahead == num) simple(); else if( lookahead == id) match(id); else if( lookahead == array) { match(array); match(')'); simple(); match(')'); match(of); type(); } else error(0); } void simple() { if( lookahead == integar) match(integer); else if( lookahead == char) match(char); else if( lookahead == num) { match(num); match(dotdot); match(num); } else error(0); } _________________________________________________________________________ 注意:�q�里的代码都是纯的语法分析代�?实际执行�q�程中�ƈ没有什么用�?但是我们构造语法树(w��i)parse-tree的代码就是镶嵌在�q�些�U�的语法分析代码�? </div> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:17 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44762.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?3.范式文法)</h1> 独孤�q�客 — Sat, 06 May 2006 08:16:00 GMT <div> 从这一节开�?span lang="EN-US">,我们��q��q�入�~�译器构造的正题�?不得不说,前面的词法扫描器在整个编译器部分只是个很��很��的�l�成,而这两节讲述的语�a�构造器才能真正为我们的�~�译工作起到重要的作�?�q�些东西�怿�大家在大学的�~�译原理的课�E�已�l�学�?ji��n)不�?那么本文我也只是大致地带�q?让大家回忆�v大学的知�?重要的yacc使用技巧等�{?我将在后面的内容讲出. �?span lang="EN-US">3.1 exp -> exp op exp | (exp) | number op -> + | - | * �q�里��是一个定义的带有加法,减法,乘法的简单整数算术表辑ּ�的文�?其中�_�体表示的是�l�结�W�号,也就是不能有产生式生成的�W�号.而exp,op��是非终�l�符,它们都是�׃��个�?>”符��h��产生�? 比如100 + 222 *123123 �?888+11)��是�W�合上述文法的具体的表达�? 注意,在文法定义中,是可以递归�?所以exp产生式右边的式子中可以再�ơ出现exp. �q�里�?span lang="EN-US">|和正则表辑ּ�一�?表示的选择的意�?也就是说,exp可以是exp op exp或�?exp)再或者number. 下面让我们看�?span lang="EN-US"><<�~�译原理�?qi��ng)实�?gt;>书中的一个关于BNF文法的介�l? 比如说我们有个数学表辑ּ�(34-3)*42,然后我们来看看上面的exp文法怎么来推��D��别它. (1) exp => exp op exp [exp ->exp op exp] (2) => exp op number [exp ->number ] (3) => exp * number [op -> * ] (4) => (exp) * number [exp ->(exp) ] (5) => (exp op exp) * number [exp ->exp op exp] (6) => (exp op number)* number [exp -> number ] (7) => (exp �?number) * number [op -> - ] (8) => (number–number)* number [exp -> number ] 最�l?span lang="EN-US">,exp里面全部的非�l�结�W�号全部变成�?ji��n)终�l�符�?那么推导完成. �q�种推导十分像我们在��L��数学中讲到的命题推理.其实形式语言的推导的数学基础��是我们��L��数学的命题推�? 在推��D��E�中,其实��是把原来的文法中的递归展开.那么我们在推导的�q�程,也就很容易实现分析树(w��i)的生�?而分析树(w��i)��是我们�~�译�E�序中十分重要的信息�?我们之所以前面又做词法分�?又做语法分析的目标就是�ؓ(f��)�?ji��n)生成分析�?w��i).有了(ji��n)�?我们�~�译�E�序在后面的代码生成�q�程中将变得�Ҏ(gu��)��癑ր? ��L(f��ng)��: <shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" stroked="f"> <stroke joinstyle="miter"> </stroke> <formulas> <f eqn="if lineDrawn pixelLineWidth 0"> </f> <f eqn="sum @0 1 0"> </f> <f eqn="sum 0 0 @1"> </f> <f eqn="prod @2 1 2"> </f> <f eqn="prod @3 21600 pixelWidth"> </f> <f eqn="prod @3 21600 pixelHeight"> </f> <f eqn="sum @0 0 1"> </f> <f eqn="prod @6 1 2"> </f> <f eqn="prod @7 21600 pixelWidth"> </f> <f eqn="sum @8 21600 0"> </f> <f eqn="prod @7 21600 pixelHeight"> </f> <f eqn="sum @10 21600 0"> </f> </formulas> <path o:extrusionok="f" gradientshapeok="t" o:connecttype="rect"> </path> <lock v:ext="edit" aspectratio="t"> </lock> </shapetype> <shape id="_x0000_i1025" style="WIDTH: 414.75pt; HEIGHT: 366.75pt" type="#_x0000_t75"> 500)this.style.width=500;" o:title="1" /> </shape> �?span lang="EN-US">3.2 同样�?span lang="EN-US"><<�~�译原理�?qi��ng)实�?gt;>书上的例�? �?span lang="EN-US">E -> E+a | a 表示的文法�ؓ(f��)G,那么考虑它生成的表达L(G) 如果由标准的数学定义,那么我们用公式L(G)={s | exp =>* s }表示一�U�文法G. s代表记号�W�号的�Q意数�l�串,也就是我们的�l�结�W�号.而exp代表非终�l�符�?=>*表示一�p�d��的从非终�l�符到终�l�符��L(f��ng)��推导�q�程.�q�里*有点像我们在讲述正则表达式中�?�W�号一�?它表�C?到无限次的重�?所�?>*��是表示0�ơ到无限�ơ的推导�q�程. L(G) = {a,a+a,a+a+a,a+a+a+a,…} E => E+a => E+a+a => E+a+a+a 同时,在我们的�~�译课本�?又经常讲�q�另一�U�数学表达方式来阐述文法的定�? G=(T,N,P,S) 注意,�q�里的T,N,P,S都是集合. T表示�l�结�W�号(terminal),也就是这里{a,+} N表示非终�l�符�?nonterminal),也就是这里{E},但是N不能与T�怺�. P表示产生�?production)或者文法规�?grammar rule)的集�?�q�里它只有一个元�? E -> E+a S表示集合N的开始符�?start symbol).关于S,本�h也搞不清楚它的用�?所以很抱歉! �?span lang="EN-US">3.3 �q�是我们C�E�序语言中经�怋�用if else文法 statement -> if-stmt | other if-stmt -> if(exp) statement | if (exp) statement else statement exp -> 0|1 statement��是我们C语言中��用语�?它的产生式包括了(ji��n)两种可能,一是if-stmt语句,二是other.然后我们又另外定义if-stmt语句的��生式.�q�里有两�U�情�?一是没有else�?另外��是有else�?里面我们又��用了(ji��n)递归.if-stmt本来是包含在statement里面�?可是我们又在if-stmt的��生式中��用statement.正是因�ؓ(f��)文法中允�?d��ng)R��归,所以它比�v我们前面讲的正则表达式有更广泛的表示能力,但同�?文法的推��D��别也更加法复�?按照�~�译原理的书�c?一般讲完BNF文法�?��p��重点讲解文法的推导算�?一共有两种,一是LL��法,自顶向下的算�?二是LR��法,自底向上的算�?LL��法比较��?其中�q�有一�U�特�D�的情况,��是我们下一节要讲的递归下降的算�?�׃��C语言中的函数本来��可以递归,那么实现�q�中递归下降的算法是十分��单的,而且对于我们一般的�E�序设计语言来说,虽然它的��法能力很弱,但是已经是��够用�?而关于LR的算�?那么��是一个大��N��?它的��法能力最�?但是实现��h��十分困难,�q�好,已经有科学家为我们提供了(ji��n)yacc(或者叫bison)�q�个工具,可以来自动生成LR的文法推导算�?�q�就是我们一直在提到的yacc工具�? 回过头来,我们看看下面的程�? if(0) other else other 的分析树(w��i) <shape id="_x0000_i1026" style="WIDTH: 414.75pt; HEIGHT: 3in" type="#_x0000_t75"> 500)this.style.width=500;" o:title="2" /> </shape> 思�?span lang="EN-US">: ��Z��么要把文法最�l�分析成�?w��i)结�? 因�ؓ(f��)文法本��n是递归�?span lang="EN-US">,而表�C�的递归的最好数据结构就是树(w��i),所以我们把文法弄成�?w��i)结构�?后面在处理代码生成等问题�?也可以用递归来很�Ҏ(gu��)��地完�? �?span lang="EN-US">3.4 �q�里我给�?span lang="EN-US">microsoft在msdn中对于C语言的statement的文�? 注意,�q�里�?�W�号替代�?ji��n)我们前面��生式�?> statement : labeled-statement compound-statement expression-statement selection-statement iteration-statement jump-statement try-except-statement /* Microsoft Specific */ try-finally-statement /* Microsoft Specific */ jump-statement : goto identifier ; continue; break; return expression opt ; compound-statement : { declaration-list opt statement-list opt } declaration-list : declaration declaration-list declaration statement-list : statement statement-list statement expression-statement : expression opt ; iteration-statement : while ( expression ) statement do statement while ( expression ); for ( expression opt ; expression opt ; expression opt ) statement selection-statement : if ( expression ) statement if ( expression ) statement else statement switch ( expression ) statement labeled-statement : identifier : statement case constant-expression : statement default : statement try-except-statement : /* Microsoft Specific */ __try compound-statement __except ( expression ) compound-statement try-finally-statement : /* Microsoft Specific */ __try compound-statement __finally compound-statement </div> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:16 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44761.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?2.flex的��?</h1> 独孤�q�客 — Sat, 06 May 2006 08:15:00 GMT 摘要: 看了(ji��n)�W�一��的关于正则表达式的说明�?下面我们��来通过�?使用flex�q�个词法分析工具来构造我们的�~�译器的词法分析�? 关于lex的教�E�应该是很多,�q�里我就��单地介绍一�?然后着重后面的lex和yacc的配合��用以�?qi��ng)其技�?所�?如果你不看了(ji��n)后还是不太明白lex或者yacc的��?请你自己上网��L��?�q�方面的教程... <a href='http://m.tkk7.com/landy/archive/2006/05/06/44760.html'>阅读全文</a> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:15 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44760.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> <article> <h1>从lex&yacc说到�~�译�?1.正则表达�?</h1> 独孤�q�客 — Sat, 06 May 2006 08:12:00 GMT 摘要: 学过�~�译原理的朋友肯定都接触�q? LEX �q�个��型的词法扫描工�? . 但是却很��有人真正把 LEX 用在自己的程序里 . 在构造专业的�~�译器的时�? , 常常需... <a href='http://m.tkk7.com/landy/archive/2006/05/06/44759.html'>阅读全文</a> <div align=right><a style="text-decoration:none;" href="http://m.tkk7.com/landy/" target="_blank">独孤�q�客</a> 2006-05-06 16:12 <a href="http://m.tkk7.com/landy/archive/2006/05/06/44759.html#Feedback" target="_blank" style="text-decoration:none;">发表评论</a></div> </article> </main></body></html>