Question

我正在使用StringScanner进行词法分析，如下所示：

def next
 @scanner.skip(/\s+/)
 value,kind=nil,nil
 TOKEN_DEF.each{|tok,regex| (kind=tok;break) if @scanner.scan(regex)}
 return Token.new(kind,value,@line,@scanner.pos)
end

初看起来，这很有效，除了我无法弄清楚如何获得@line数字。

我已经阅读了doc，其中begin_of_line？方法似乎合适，但我无法想象如何使用它。

Answer 1

这段代码似乎没有准备好去确定其他更优雅的解决方案，它应该给你一些思考。

class Retry < StandardError
end

class TextScanner
  def initialize(filename)
    @lines = IO.readlines(filename)
    @fiber = Fiber.new do
      @lines.each_with_index do |line, index|
        @scanner = StringScanner.new(line)
        @scanner.skip(/\s+/)
        value, kind = nil, nil
        begin 
          got_token = false
          TOKEN_DEF.each do |tok, regex|
            if @scanner.scan(regex)
              Fiber.yield Token.new(tok, value, index, @scanner.pos)
              got_token = true
            end
          end
          raise Retry if got_token
        rescue Retry
          retry
        end
      end
      "fiber is finished"
    end
  end

  def next
    @fiber.resume
  end
end

text_scanner = TextScanner('sometextfile')
puts text_scanner.next #=> first token
puts text_scanner.next #=> second token
puts text_scanner.next #=> third token
...
puts text_scanner.next #=> "fiber is finished"

Answer 2

我想我有一个简单的解决方案。这是：

def next
 @line+=1 while @scanner.skip(/\n/)
 @line+=1 if @scanner.bol?
 @scanner.skip(/\s+/)
 @line+=1 if @scanner.bol?
 @scanner.skip(/\s+/)
 return :eof if @scanner.eos?
 TOKEN_DEF.each { |tok,syntax| (kind=tok;break) if @scanner.scan(syntax)}
 return Token.new(kind,nil,@line,@scanner.pos)
end

Answer 3

将您正在扫描的文本保存在变量中并使用“count”

我在代码中使用以下内容：

def current_line_number; @text[0..@scanner.pos].count("\n") + 1; end

Ruby StringScanner用于lexing：如何获取行号？

3 个答案: