如果-else if-else语句，您将如何解析标准？ （使用RPLY）

时间：2019-01-15 19:28:24

标签： python parsing programming-languages ply

我正在尝试使用RPLY构建一个解析器，但在-else语句是否有效的情况下无法执行。

在我看来，解析器拼命尝试遵循一条路径，当它失败时，它只是停止而没有寻找另一条路径。

这是我目前的作品/规则：

@self.pg.production('file : ')
@self.pg.production('file : expression_seq')

@self.pg.production('block : INDENT expression_seq DEDENT')

@self.pg.production('expression_seq : expression')
@self.pg.production('expression_seq : expression NEWLINE expression_seq')

@self.pg.production('else_clause : else NEWLINE block')

@self.pg.production('else_if_clause : else_if expression NEWLINE block')

@self.pg.production('else_if_clause_seq : else_if_clause')
@self.pg.production('else_if_clause_seq : else_if_clause NEWLINE else_if_clause_seq')

@self.pg.production('expression : if expression NEWLINE block')
@self.pg.production('expression : if expression NEWLINE block NEWLINE else_if_clause_seq')
@self.pg.production('expression : if expression NEWLINE block NEWLINE else_clause')
@self.pg.production('expression : if expression NEWLINE block NEWLINE else_if_clause_seq NEWLINE else_clause')

@self.pg.production('expression : INTEGER')

@self.pg.production('expression : false')
@self.pg.production('expression : true')

这是EBNF中的语法：

file = [ expression_seq ] ;
expression_seq = expression , { NEWLINE , expression } ;
block = INDENT , expression_seq , DEDENT ;
expression = if | INTEGER | 'false' | 'true' ;
if = 'if' , expression , NEWLINE , block , { NEWLINE , else_if_clause_seq } , [ NEWLINE , else_clause ] ;
else_clause = 'else' , block ;
else_if_clause = 'else if' , expression , NEWLINE , block ;
else_if_clause_seq = else_if_clause , { NEWLINE , else_if_clause } ;

因此，到目前为止，解析器进行解析：

if true
  1
else
  1

true

但不是：

if true
  1

true
=> rply.errors.ParsingError: (None, SourcePosition(idx=13, lineno=4, colno=1))

或

if true
  1
else if true
  1
else
  1

true
=> rply.errors.ParsingError: (None, SourcePosition(idx=29, lineno=5, colno=1))

我的规则有问题吗？您将如何实现这种（通用）语法？

1 个答案:

答案 0 :(得分：3)

问题出在您对NEWLINE令牌的处理上。这会产生换档/减少冲突，这些冲突可以通过换档动作解决。结果是无法减少冲突，因此无法解析某些语法结构。

这里是一个例子：

else_if_clause_seq: else_if_clause .  [$end, NEWLINE, DEDENT]
                  | else_if_clause . NEWLINE else_if_clause_seq

这是从野牛的状态机转储中提取的，用于相同的语法。解析器状态是“项目”的集合；每个项目都是带有明显位置的产品。 （标记是两个产品中的.。）标记基本上显示了解析器到达该状态时已到达的距离；如果.在生产的末尾（如第一行），则可以执行缩减操作，因为解析器已到达生产的末尾。如果.后面有一个符号，则如果下一个符号可能是（或在后面扩展中的第一个符号），则解析器可以移动下一个符号。在上述第二种情况下，如果NEWLINE恰好是下一个标记，则可以对其进行移位。

该州的作品也用前瞻集进行批注，尽管野牛只表示可以减少的作品的前瞻集。第一个生产的结尾处的注释[$end, NEWLINE, DEDENT]是该生产的超前集合。换句话说，它是可以减少生产的上下文中可能的下一个标记的集合。

此状态是移位/减少冲突，因为NEWLINE可能触发else_if_clause_seq: else_if_clause的减少，或者可以假设NEWLINE else_if_clause_seq将被解析而转移。由于移位/减少冲突的默认解决方案是偏爱该移位（在野牛，层，RPLY和大多数其他LR解析器生成器中），因此减少永远不会发生，从而迫使解析器始终选择尝试扩展{{1 }}。实际上，这意味着不在块末尾的else_if_clause_seq之后必须始终跟随另一个else_if_clause，从而无法解析else_if_clause在其中的else_if true 1 else 1后跟else_if_clause子句。

可以预见两个标记的解析器对此语法没有任何问题。第二个下一个标记，是else之后的那个，必须为NEWLINE或else；在第一种情况下，需要减少，而在第二种情况下，变速是正确的动作。实际上，else_if确实没有任何用处，因为NEWLINE和else都必须始终带有else_if标记。此外，由于NEWLINE只能以else_if_clause结尾，而block只能以block结尾，因此我们可以得出结论，DEDENT必须以{{ 1}}。

您似乎选择在NEWLINE之后发送DEDENT，因为您的语法似乎表明您在{{1 }}。从理论上讲这可能是可行的，但肯定会导致您转移/减少冲突。

感知空白的词法扫描的更常见实现是使用算法outlined in the Python manual：遇到换行符时会生成NEWLINE令牌，除非周围的行被显式或隐式连接，然后决定发布一个DEDENT，一个或多个NEWLINE，或者什么都不发布。仔细检查Python grammar可以看出它们是如何组合在一起的。这是EBNF中的简化摘录：

INDENT

NEWLINE或多或少与您的INDENT相对应，但允许同一行中不缩进的单个语句，但请注意，它以DEDENT开头。简单（非复合）语句以stmt: simple_stmt | compound_stmt simple_stmt: small_stmt (';' small_stmt)* [';'] NEWLINE small_stmt: expr_stmt … compound_stmt: if_stmt … if_stmt: 'if' test ':' suite ('elif' test ':' suite)* ['else' ':' suite] suite: simple_stmt | NEWLINE INDENT stmt+ DEDENT 结尾；复合语句被视为是自定界的。

另一种方法是仅在连续两行具有相同缩进量的情况下发出suite令牌。如上所述，缩进或缩进的行中的block个标记严格来说是多余的，因为可以推断出存在。完全不使用它们可以减少解析器需要处理的令牌数量。但是，如果这样做，您将无法再继续使用简单原则，即简单语句始终以NEWLINE终止，因为NEWLINE中的最后一个简单语句之后紧跟着NEWLINE。这使得有必要使用NEWLINE稍微复杂一点（和右递归）的定义：

NEWLINE
相关问题
最新问题