Question

我正在编写一个导入脚本来处理可能有数十万行（日志文件）的文件。使用一种非常简单的方法（下面）花了足够的时间和记忆，我觉得它会在任何时候取出我的MBP，所以我杀了这个过程。

#...
File.open(file, 'r') do |f|
  f.each_line do |line|
    # do stuff here to line
  end
end

此文件特别有642,868行：

$ wc -l nginx.log                                                                                                                                        /code/src/myimport
  642868 ../nginx.log

有没有人知道处理此文件中每一行的更有效（内存/ CPU）方式？

更新

上面f.each_line内部的代码只是将正则表达式与行匹配。如果匹配失败，我将该行添加到@skipped数组。如果它通过，我将匹配格式化为哈希（由匹配的“字段”键入）并将其附加到@results数组。

# regex built in `def initialize` (not on each line iteration)
@regex = /(\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3}) - (.{0})- \[([^\]]+?)\] "(GET|POST|PUT|DELETE) ([^\s]+?) (HTTP\/1\.1)" (\d+) (\d+) "-" "(.*)"/

#... loop lines
match = line.match(@regex)
if match.nil?
  @skipped << line
else
  @results << convert_to_hash(match)
end

我完全接受这是一个效率低下的过程。我可以使convert_to_hash内的代码使用预先计算的lambda，而不是每次都计算出计算结果。我想我只是假设行迭代本身就是问题，而不是每行代码。

Answer 1

我刚刚对600,000行文件进行了测试，并在不到半秒的时间内对文件进行了迭代。我猜测缓慢不在文件循环中，而是行解析。你也可以粘贴你的解析代码吗？

Answer 2

这个blogpost包括几种解析大型日志文件的方法。也许这是一个灵感。另请查看file-tail gem

Answer 3

如果你正在使用bash（或类似的），你可以像这样进行优化：

在input.rb中：

 while x = gets
      # Parse
 end

然后在bash中：

 cat nginx.log | ruby -n input.rb

-n标志告诉ruby assume 'while gets(); ... end' loop around your script，这可能会导致它做一些特殊的优化。

您可能还想查看问题的预先编写的解决方案，因为这样会更快。

如何在Ruby中有效地解析大型文本文件

3 个答案: