如何获取特定网站内的所有页面链接?

时间:2011-12-12 05:34:18

标签: php web-crawler

我想在php中编程以获取我网站中的所有页面链接,因为我想检查我的网站的每个页面的pagerank,是否有工具或库或在php中实现的算法来获取所有页面特定网站的链接?

1 个答案:

答案 0 :(得分:6)

你可以试试这个:

<?php
  $original_file = file_get_contents("http://www.your_domain.com/page");
  $stripped_file = strip_tags($original_file, "<a>");
  preg_match_all("/<a(?:[^>]*)href=\"([^\"]*)\"(?:[^>]*)>(?:[^<]*)<\/a>/is", $stripped_file, $matches);
?>

$ matches [0]将包含完整的A标签;例如:<a href="link">text</a>

$ matches [1]将仅包含A标签中的HREF;例如:link

我希望这会对你有所帮助。 此致!