如何使用Nokogiri从HTML中提取链接和链接文本

时间：2016-09-23 05:44:08

标签： ruby nokogiri

我喜欢Nokogiri - 它是从XML和HTML文档中提取元素的绝佳工具。尽管在线示例很好，但它们主要展示了如何操作XML文档。

如何使用Nokogiri从HTML中提取提取链接和链接文本？

1 个答案:

答案 0 :(得分：11)

这是一个最初为回复Getting attribute's value in Nokogiri to extract link URLs而编写的迷你示例，在社区Wiki样式中提取以供参考。

以下是在解析HTTP中的链接时可能会执行的一些常见操作，以css和xpath语法显示。

从这个片段开始：

require 'rubygems'
require 'nokogiri'

html = <<HTML
<div id="block1">
    <a href="http://google.com">link1</a>
</div>
<div id="block2">
    <a href="http://stackoverflow.com">link2</a>
    <a id="tips">just a bookmark</a>
</div>
HTML

doc = Nokogiri::HTML(html)

提取所有链接

我们可以使用xpath或css查找所有<a>元素，然后只保留具有href属性的元素：

nodeset = doc.xpath('//a')      # Get all anchors via xpath
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a')          # Get all anchors via css
nodeset.map {|element| element["href"]}.compact  # => ["http://google.com", "http://stackoverflow.com"]

在上述情况下，.compact是必要的，因为搜索<a>元素会返回＆＃34;只是一个书签＆＃34;元素以及其他元素。

但我们可以使用更精确的搜索来查找包含href属性的元素：

attrs = doc.xpath('//a/@href')  # Get anchors w href attribute via xpath
attrs.map {|attr| attr.value}   # => ["http://google.com", "http://stackoverflow.com"]

nodeset = doc.css('a[href]')    # Get anchors w href attribute via css
nodeset.map {|element| element["href"]}  # => ["http://google.com", "http://stackoverflow.com"]

找到特定链接

在<div id="block2">

中查找链接 
nodeset = doc.xpath('//div[@id="block2"]/a/@href')
nodeset.first.value # => "http://stackoverflow.com"

nodeset = doc.css('div#block2 a[href]')
nodeset.first['href'] # => "http://stackoverflow.com"

如果您知道自己只搜索一个链接，则可以改为使用at_xpath或at_css：

attr = doc.at_xpath('//div[@id="block2"]/a/@href')
attr.value          # => "http://stackoverflow.com"

element = doc.at_css('div#block2 a[href]')
element['href']        # => "http://stackoverflow.com"

找到关联文字的链接

如果您知道与链接相关联的文字并想要查找其网址，该怎么办？一个小的xpath-fu（或css-fu）派上用场：

element = doc.at_xpath('//a[text()="link2"]')
element["href"]     # => "http://stackoverflow.com"

element = doc.at_css('a:contains("link2")')
element["href"]     # => "http://stackoverflow.com"

从链接中找到文本

为了完整起见，请按照以下方式获取与特定链接相关联的文字：

element = doc.at_xpath('//a[@href="http://stackoverflow.com"]')
element.text     # => "link2"

element = doc.at_css('a[href="http://stackoverflow.com"]')
element.text     # => "link2"

有用的参考资料

除了广泛的Nokorigi documentation之外，我在写这篇文章时遇到了一些有用的链接：

相关问题
最新问题