重叠规则 - 输入不匹配

时间:2014-06-11 16:52:19

标签: antlr4 lexer

我的语法(如下(从原文中删减))需要稍微重叠的规则

grammar NOVIANum;

statement :  (priorityStatement | integerStatement)* ;

priorityStatement : T_PRIO TwoDigits ;

integerStatement : T_INTEGER Integer ;

WS : [ \t\r\n]+ -> skip ;

T_PRIO : 'PRIO' ;
T_INTEGER : 'INTEGER' ;

Integer: OneToNine Digit*  |  ZERO  ;

TwoDigits : Digit Digit ;

fragment OneToNine : ('1'..'9') ;

fragment Digit: ('0'..'9');

ZERO : [0] ;

所以“Integer”和“TwoDigits”在一定程度上重叠。

以下输入

INTEGER 10
PRIO 10

结果

line 2:5 mismatched input '10' expecting TwoDigits

当Integer在TwoDigits之前和

之前
line 1:8 mismatched input '10' expecting Integer

当TwoDigits在语法中位于Integer之前。

有解决方法吗?

谢谢 - 亚历克斯

修改

谢谢@GRosenberg,你的建议当然适用于这个小例子,但是当我把它整合到我的完整语法中时,它确实导致了不同的不匹配输入错误。

原因是另一个词法规则需要一系列'[1-4]',所以我认为我会聪明并把它变成

grammar NOVIANum;

statement :  (priorityT | integerT | levelT )* ;

priorityT : T_PRIO twoDigits ;

integerT : T_INTEGER integer ;

levelT : T_LEVEL levelNumber  ;

levelNumber : ( ZERO DIGIT ) | ( OneToFour (ZERO | DIGIT) ) ;

integer: ZERO*  ( DIGIT ( DIGIT | ZERO )* ) ;

twoDigits : (ZERO | DIGIT) ( ZERO | DIGIT ) ;

oneToFour : OneToFour (DIGIT | ZERO) ;

WS : [ \t\r\n]+ -> skip ;

T_INTEGER : 'INTEGER' ;
T_LEVEL   : 'LEVEL' ;
T_PRIO    : 'PRIO' ;

DIGIT: OneToFour | FiveToNine ;

ZERO : '0' ;

OneToFour  : [1-4] ;
FiveToNine : [5-9] ;

这仍适用于之前的输入,但是......

INTEGER 350
PRIO 10
LEVEL 01
LEVEL 05
LEVEL 10
LEVEL 49

结果

[@0,0:6='INTEGER',<2>,1:0]
[@1,8:8='3',<5>,1:8]
[@2,9:9='5',<5>,1:9]
[@3,10:10='0',<6>,1:10]
[@4,12:15='PRIO',<4>,2:0]
[@5,17:17='1',<5>,2:5]
[@6,18:18='0',<6>,2:6]
[@7,20:24='LEVEL',<3>,3:0]
[@8,26:26='0',<6>,3:6]
[@9,27:27='1',<5>,3:7]
[@10,29:33='LEVEL',<3>,4:0]
[@11,35:35='0',<6>,4:6]
[@12,36:36='5',<5>,4:7]
[@13,38:42='LEVEL',<3>,5:0]
[@14,44:44='1',<5>,5:6]
[@15,45:45='0',<6>,5:7]
[@16,47:51='LEVEL',<3>,6:0]
[@17,53:53='4',<5>,6:6]
[@18,54:54='9',<5>,6:7]
[@19,55:54='<EOF>',<-1>,6:8]
line 5:6 no viable alternative at input '1'
line 6:6 no viable alternative at input '4'
(statement (integerT INTEGER (integer 3 5 0)) (priorityT PRIO (twoDigits 1 0)) (levelT LEVEL (levelNumber 0 1)) (levelT LEVEL (levelNumber 0 5)) (levelT LEVEL (levelNumber 1 0)) (levelT LEVEL (levelNumber 4 9)))

我在这里缺少什么?

编辑2:

好的,回答我自己的问题,当然

DIGIT: OneToFour | FiveToNine ;

踢它不应该的地方,即使是这种组合形式, 关于解决这个问题的唯一方法 - 我能想到 - 会是

grammar NOVIANum;

statement :  (priorityT | integerT | levelT )* ;

priorityT : T_PRIO twoDigits ;

integerT : T_INTEGER integer ;

levelT : T_LEVEL levelNumber  ;

levelNumber : ( ZERO (OneToFour | FiveToNine) | ( OneToFour (ZERO | (OneToFour | FiveToNine)) ) ) ;

integer: ZERO*  ( (OneToFour | FiveToNine) ( (OneToFour | FiveToNine) | ZERO )* ) ;

twoDigits : (ZERO | (OneToFour | FiveToNine)) ( ZERO | (OneToFour | FiveToNine) ) ;

WS : [ \t\r\n]+ -> skip ;

T_INTEGER : 'INTEGER' ;
T_LEVEL   : 'LEVEL' ;
T_PRIO    : 'PRIO' ;

// DIGIT: OneToFour | FiveToNine;

ZERO : '0' ;

OneToFour  : [1-4] ;
FiveToNine : [5-9] ;

因为我为它创建了一个解析器规则,如

oneToNine : OneToFour | FiveToNine ;

它会给我这个

integerT INTEGER (integer (oneToNine 3) (oneToNine 5) 0))

这比仅仅

更丑陋,更难处理
(integerT INTEGER (integer 3 5 0))

1 个答案:

答案 0 :(得分:1)

作为设计的一般问题,总是尝试在同一级别,解析器或词法分析器中使用区分元素及其对象(T_PRIO - &gt; TwoDigits)。假设IntegerTwoDigits规则的语义特性很重要,将它们提升到解析器并让词法分析器只生成数字。也就是说,不要过度约束词法分析器。

在解析器中,您可以让integer规则在功能上隐藏twoDigits规则,但评估priorityStatement规则除外:

priorityStatement : T_PRIO twoDigits ;

integerStatement : T_INTEGER integer ;

integer: ZERO | ( DIGIT ( DIGIT | ZERO )* ) ;

twoDigits : DIGIT DIGIT ;

T_PRIO : 'PRIO' ;
T_INTEGER : 'INTEGER' ;
DIGIT : [1-9] ;
ZERO : '0' ;