刮取想要cookie的网站

时间:2011-02-24 21:02:15

标签: php curl web-scraping

我正在试图抓一个远程网站。我正在使用PHP Curl,我的代码很好。我知道,因为我使用了Fiddler,Tamper Data等来使我的代码恰到好处。但是,它仍然无法正常工作。所以,我尝试了几个小时前我应该测试过的东西:

我在浏览器中关闭了Cookie。果然,我现在无法搜索远程站点。他们的代码需要一个cookie来搜索我想要的产品。

有没有办法伪造/欺骗/规避所以我可以刮掉网站?我可以告诉CURL使用我下载的cookie吗?我甚至不知道要问的正确问题。

2 个答案:

答案 0 :(得分:9)

查看Cookie的各种curl_setopt参数。

您可以使用CURLOPT_COOKIE手动设置Cookie,或使用CURLOPT_COOKIEJAR和磁盘上的文件在多个请求中实际存储和保留Cookie。

但是,您可能只需要一个会话cookie,默认情况下支持手册所说的 - 只要您为每个请求使用相同的curl实例。如果您为每个请求创建一个新的curl实例,那么这些实例将不会共享cookie。

答案 1 :(得分:0)