Question

我刚刚转向在Heroku上使用Sidekiq，但是在我的工作运行一段时间后我得到以下内容：

2012-12-11T09:53:07+00:00 heroku[worker.1]: Process running mem=1037M(202.6%)
2012-12-11T09:53:07+00:00 heroku[worker.1]: Error R14 (Memory quota exceeded)
2012-12-11T09:53:28+00:00 heroku[worker.1]: Error R14 (Memory quota exceeded)
2012-12-11T09:53:28+00:00 heroku[worker.1]: Process running mem=1044M(203.9%)

它一直在增长。

对于这些工作，我正在使用Nokogiri和HTTParty来检索URL并解析它们。我已经尝试过改变一些代码但我真的不确定我在寻找什么。我该如何调试呢？

我尝试将New Relic添加到我的应用中，但不幸的是，它还不支持Sidekiq。

此外，谷歌搜索后我试图切换到SAX解析器，看看是否有效，但我卡住了。这就是我到目前为止所做的：

class LinkParser < Nokogiri::XML::SAX::Document
  def start_element(name, attrs = [])
    if name == 'a'
      puts Hash[attrs]['href']
    end
  end
end

然后我尝试类似的事情：

page = HTTParty.get("http://site.com")
parser = Nokogiri::XML::SAX::Parser.new(LinkParser.new)

然后我尝试将以下方法用于使用HTTParty检索的数据，但无法使这些方法中的任何一种正常工作：

 parser.parse(File.read(ARGV[0], 'rb'))
 parser.parse_file(filename, encoding = 'UTF-8')
 parser.parse_memory(data, encoding = 'UTF-8')

更新

我发现解析器无法正常工作，因为我正在调用parser.parse(page)而不是parser.parse(page.body) ~~但是我尝试使用上面的脚本打印出各种网站的所有html标签对于某些网站，它打印出所有标签，而对于其他网站，它只打印出一些标签。~~

~~如果我使用Nokogiri::HTML()代替parser.parse()，则可以正常使用。~~

我使用Nokogiri::XML::SAX::Parser.new()代替Nokogiri::HTML::SAX::Parser.new()来处理HTML文档，这就是我遇到麻烦的原因。

代码更新

好的，我现在有以下代码正在运行，但无法弄清楚如何将我得到的数据放入一个我以后可以使用的数组中......

require 'nokogiri'

class LinkParser < Nokogiri::XML::SAX::Document
  attr_accessor :link

  def initialize
    @link = false
  end

  def start_element(name, attrs = [])
    url = Hash[attrs]
    if name == 'a' && url['href'] && url['href'].starts_with?("http")
      @link = true 
      puts url['href']
      puts url['rel']
    end
  end

  def characters(anchor)
    puts anchor if @link
  end

  def end_element(name)
    @link = false
  end

  def self.starts_with?(prefix)
    prefix.respond_to?(:to_str) && self[0, prefix.length] == prefix
  end
end

Answer 1

最后我发现内存泄漏是由'Typhoeus' gem引起的，{{3}}是我在部分代码中使用的'PageRankr'gem的依赖。

我通过在本地运行代码同时使用watch "ps u -C ruby"监视内存使用情况，然后测试代码的不同部分，直到我能够确定内存泄漏的来源来发现这一点。

我将此标记为已接受的答案，因为在原始问题中我不知道如何调试内存泄漏，但是有人告诉我执行上述操作并且它有效。

Answer 2

以防万一你无法解决宝石内存泄漏问题：

您可以在问题https://stackoverflow.com/a/1076445/3675705

中解释，在分叉内部运行sidekiq作业

只需添加应用程序帮助程序“do_in_child”，然后添加到工作程序

中

 def perform
   do_in_child do
     # some polluted task
   end
 end

是的，我知道这是一种肮脏的解决方案，因为Sidekiq应该在线程中工作，但在我的情况下，它是唯一一个生产的快速解决方案，因为我在nokogiri解析大型XML文件时工作缓慢。

“快速”线程功能不会带来任何好处，但是内存泄漏会让我在工作10分钟后获得2GB +主侧面进程。有一天，sidekiq虚拟内存增长到11GB（我服务器上所有可用的虚拟内存），所有任务都非常慢。

Heroku，Nokogiri＆amp; Sidekiq内存泄漏 - 如何调试？

更新

代码更新

2 个答案: