Question

我正在寻找一个功能类似于Perl WWW::Mechanize的库，但是对于PHP。基本上，它应该允许我用简单的语法提交HTTP GET和POST请求，然后解析生成的页面并以简单的格式返回所有表单及其字段，以及页面上的所有链接。

我知道CURL，但它有点过于简单，而且语法非常难看（大量curl_foo($curl_handle, ...)语句

澄清：

到目前为止，我想要比答案更高级的东西。例如，在Perl中，您可以执行以下操作：

# navigate to the main page
$mech->get( 'http://www.somesite.com/' ); 

# follow a link that contains the text 'download this'
$mech->follow_link( text_regex => qr/download this/i );

# submit a POST form, to log into the site
$mech->submit_form(
    with_fields      => {
        username    => 'mungo',
        password    => 'lost-and-alone',
    }
);

# save the results as a file
$mech->save_content('somefile.zip');

使用HTTP_Client或wget或CURL做同样的事情会有很多工作，我必须手动解析页面以查找链接，找到表单URL，提取所有隐藏字段，等等。我要求PHP解决方案的原因是我没有使用Perl的经验，而且我可以通过大量的工作来构建我需要的东西，但如果我能用PHP完成上述操作会更快。

Answer 1

SimpleTest的ScriptableBrowser可以在测试框架中独立使用。我已将它用于众多自动化作业。

Answer 2

我觉得有必要回答这个问题，即使它是一个老帖子......我一直在使用PHP卷曲很多，而且它与WWW之类的东西相差无几：机械化，我正在转向（我想我将使用Ruby语言实现）.. Curl已经过时，因为它需要太多“笨拙的工作”来自动化任何东西，最简单的脚本浏览器看起来很有希望，但在测试它时，它将无法工作在大多数网络表单上，我试着...老实说，我认为PHP在这类抓取，网络自动化方面缺乏所以最好看一种不同的语言，只是想发布这个，因为我花了无数个小时来讨论这个话题也许它将在未来的某个时间拯救别人。

Answer 3

2016年现在和那里Mink。它甚至支持来自无头纯PHP和＃34;浏览器的不同引擎。（没有JavaScript），通过Selenium（需要像Firefox或Chrome这样的浏览器）到无头＆＃34; browser.js＆＃34;在NPM中，它支持JavaScript。

Answer 4

尝试查看PEAR库。如果所有其他方法都失败了，请为curl创建一个对象包装器。

你可以这么简单：

class curl {
    private $resource;

    public function __construct($url) {
        $this->resource = curl_init($url);
    }

    public function __call($function, array $params) {
        array_unshift($params, $this->resource);
        return call_user_func_array("curl_$function", $params);
    }
}

Answer 5

请尝试以下方法之一：

PEAR HTTP_Request
Zend_Http_Client

（是的，它是ZendFramework代码，但它不会使你的类使用它变慢，因为它只加载了所需的库。）

Answer 6

了解史努比： http://sourceforge.net/projects/snoopy/

Answer 7

Curl是简单请求的方法。它运行跨平台，具有PHP扩展，并被广泛采用和测试。

我创建了一个很好的类，可以通过调用CurlHandler :: Get（$ url，$ data）||来获取和POST一个数据数组（包含文件！）到一个url CurlHandler :: Post（$ url，$ data）。还有一个可选的HTTP用户身份验证选项：）

/**
 * CURLHandler handles simple HTTP GETs and POSTs via Curl 
 * 
 * @package Pork
 * @author SchizoDuckie
 * @copyright SchizoDuckie 2008
 * @version 1.0
 * @access public
 */
class CURLHandler
{

    /**
     * CURLHandler::Get()
     * 
     * Executes a standard GET request via Curl.
     * Static function, so that you can use: CurlHandler::Get('http://www.google.com');
     * 
     * @param string $url url to get
     * @return string HTML output
     */
    public static function Get($url)
    {
       return self::doRequest('GET', $url);
    }

    /**
     * CURLHandler::Post()
     * 
     * Executes a standard POST request via Curl.
     * Static function, so you can use CurlHandler::Post('http://www.google.com', array('q'=>'StackOverFlow'));
     * If you want to send a File via post (to e.g. PHP's $_FILES), prefix the value of an item with an @ ! 
     * @param string $url url to post data to
     * @param Array $vars Array with key=>value pairs to post.
     * @return string HTML output
     */
    public static function Post($url, $vars, $auth = false) 
    {
       return self::doRequest('POST', $url, $vars, $auth);
    }

    /**
     * CURLHandler::doRequest()
     * This is what actually does the request
     * <pre>
     * - Create Curl handle with curl_init
     * - Set options like CURLOPT_URL, CURLOPT_RETURNTRANSFER and CURLOPT_HEADER
     * - Set eventual optional options (like CURLOPT_POST and CURLOPT_POSTFIELDS)
     * - Call curl_exec on the interface
     * - Close the connection
     * - Return the result or throw an exception.
     * </pre>
     * @param mixed $method Request Method (Get/ Post)
     * @param mixed $url URI to get or post to
     * @param mixed $vars Array of variables (only mandatory in POST requests)
     * @return string HTML output
     */
    public static function doRequest($method, $url, $vars=array(), $auth = false)
    {
        $curlInterface = curl_init();

        curl_setopt_array ($curlInterface, array( 
            CURLOPT_URL => $url,
            CURLOPT_RETURNTRANSFER => 1,
            CURLOPT_FOLLOWLOCATION =>1,
            CURLOPT_HEADER => 0));
        if (strtoupper($method) == 'POST')
        {
            curl_setopt_array($curlInterface, array(
                CURLOPT_POST => 1,
                CURLOPT_POSTFIELDS => http_build_query($vars))
            );  
        }
        if($auth !== false)
        {
              curl_setopt($curlInterface, CURLOPT_USERPWD, $auth['username'] . ":" . $auth['password']);
        }
        $result = curl_exec ($curlInterface);
        curl_close ($curlInterface);

        if($result === NULL)
        {
            throw new Exception('Curl Request Error: '.curl_errno($curlInterface) . " - " . curl_error($curlInterface));
        }
        else
        {
            return($result);
        }
    }

}

?>

[edit]现在只阅读澄清...你可能想要使用上面提到的自动化工具之一。您还可以决定使用像ChickenFoot这样的客户端firefox扩展，以获得更大的灵活性。我将把这个示例类留在这里以供将来搜索。

Answer 8

如果你在项目中使用CakePHP，或者如果你倾向于提取相关的库，你可以使用他们的curl包装器HttpSocket。它具有您描述的简单页面获取语法，例如

# This is the sugar for importing the library within CakePHP       
App::import('Core', 'HttpSocket');
$HttpSocket = new HttpSocket();

$result = $HttpSocket->post($login_url,
array(
  "username" => "username",
  "password" => "password"
)
);

...虽然它没有办法解析响应页面。为此，我将使用simplehtmldom：http://net.tutsplus.com/tutorials/php/html-parsing-and-screen-scraping-with-the-simple-html-dom-library/，它将自己描述为具有类似jQuery的语法。

我倾向于认为底线是PHP没有Perl / Ruby所拥有的令人敬畏的抓取/自动化库。

Answer 9

如果你在* nix系统上，你可以使用带有wget的shell_exec（），它有很多不错的选择。

是否有与Perl的WWW :: Mechanize相当的PHP？

9 个答案: