Question

我需要使用JFlex创建一个解析器来提取输入文件中的所有单词，包括带有重音字符的单词，如á，é，í，ó，ú，ñ，......

我的问题是，即使使用UTF8编码和％unicode标记设置所有文件，我也无法识别这些字符。

.lex文件是这样的：

import java_cup.runtime.*;
%%
%class ParserLex
%unicode
%public
%final
%cup

%init{
%init}

%{
    private Symbol sym(int type) {
        return sym(type, yytext());
    }
    private Symbol sym(int type, Object value) {
        return new Symbol(type, yyline, yycolumn, value);
    }
%}

Token       = [áéíóú]
ANY         = .

%%

{Token}
    { System.out.println(yytext()); }

{ANY}
    {   }

我的测试类就像这样：

class ParserTest {
    public static void main(String[] args) throws IOException {
        InputStreamReader reader = new InputStreamReader(new FileInputStream(args[0]), "UTF8");
        ParserLex parser = new ParserLex(reader);
        for (Symbol sym = parser.next_token(); sym.sym != 0; sym = parser.next_token()) {
        }
        reader.close();
    }
}

有关此问题的任何想法或建议？

Answer 1

我最近发现jFlex会输出错误，如

Warning in file "scanner.jflex" (line 42):
Rule can never be matched:
"???"  { return new Symbol(Symbols.CIRCLED_MINUS, 1, yycolumn + 1, null); }

表示我的UTF-8字符文字

"⊖"  { return new Symbol(Symbols.CIRCLED_MINUS, 1, yycolumn + 1, null); }

在Linux上，我更改了LANG环境变量以指定编码，例如C.UTF-8，删除了警告。使用命令行选项-Dfile.encoding=UTF-8更具可移植性。我还发现feature request 29，暗示jFlex尊重系统默认编码。

JFlex和重音字符

1 个答案: