我需要从远程网址的html中获取数据

时间:2013-01-15 08:26:00

标签: php html regex html-parsing web-scraping

我需要一个接受这个ul的脚本:

<ul id="activitylist">
    <li class="activitybit forum_thread">
        <div class="avatar"> <img alt="secret team's Avatar" src="images/misc/unknown.gif" title="secret team's Avatar"> </div>
        <div class="content hasavatar">
        <div class="datetime"> <span class="date">Today,&nbsp;<span class="time">11:25pm</span></span> </div>
        <div class="title"> <a class="username" href="member.php/436070-secret-team">secret team</a> started a thread <a href="showthread.php/415403-Allow-VIDEO-Code-missing-in-settings">'Allow [VIDEO] Code' missing in settings</a> </div>
        <div class="views">0 replies | 0 view(s)</div>
    </li>
</ul>

一个ul中有10到15个孩子。我需要线程有0个回复的每个子li的线程名称。我在上面发布了一个例子。因此,对于该示例,我需要此文本:

'Allow [VIDEO] Code' missing in settings

这个div有0个回复作为文本:

 <div class="views">0 replies | 0 view(s)</div>

我有这个示例代码,但它无法正常工作。

<?php
$request_url = 'https://www.vbulletin.com/forum/activity.php';

$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $request_url); // The url to get links from
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); // We want to get the respone
$result = curl_exec($ch);

$sPattern = "/<li class=\"activitybit forum_thread\">(.*?)<\/li>/s";
preg_match_all($sPattern, $result, $parts);
$links = $parts[1];
foreach ($links as $link) {
    if (stripos($link, "0 replies") !== false) {
        echo $link . "<br>";
    }
}
curl_close($ch);
?>

1 个答案:

答案 0 :(得分:3)

这是一个正则解析任何类型的HTML:

$regex = new DOMDocument;
$regex->loadHTML($html);

现在认真。 DOMDocument已经解析了所有HTML。您现在可以使用thesethese函数遍历标记并提取其属性和内容。但是使用名为DOMXPath的伴侣类要容易得多:

$xpath = new DOMXpath($regex);
foreach ($xpath->query("//ul[@id='activitylist']/li") as $li) {
    $view = $xpath->query(".//div[@class='views']", $li)->item(0);
    $link = $xpath->query(".//div[@class='title']/a", $li)->item(1);
    if (preg_match("/0 replies/", $view->nodeValue)) {
        echo $link->nodeValue . " (" . $link->getAttribute("href") . ")\n";
    }
}

这将输出一些关于您的HTML不完美的警告加上:

'Allow [VIDEO] Code' missing in settings (showthread.php/415403-Allow-VIDEO-Code-missing-in-settings)

您可以阅读有关使用 Regex PHP解析HTML here的更多信息。 XPath示例的完整列表是available here

相关问题