从单个域获取多个页面的最快方法?

时间:2014-03-07 05:11:13

标签: php http

假设我需要从5个不同的网站获取内容,每个网站100个页面。例如:

example.com/?a=1, 
example.com.com/?a=2 
OR 
example.com/a.txt, 
example.com/b.txt

到目前为止,我一直在使用curl_multi,虽然这比普通卷曲要快得多,但我对速度还是不太满意。我想知道是否有更快的方法从单个域获取页面(连接到域,然后尽可能多地抓取!)。

我不拥有我想要获取内容的域名,但我会限制我的请求。

1 个答案:

答案 0 :(得分:2)

这取决于服务器实现。关于资源,使用一个HTTP/1.1's persistent connection使用一个TCP连接是个好主意。但是服务器实现很可能会按顺序处理这些请求,因为HTTP希望它们以相同的顺序传递。

因此,如果这些请求需要一些服务器端处理时间,那么并行请求可能会更快。如果不是,我猜几个连接的开销将由一个连接执行。最后,您必须对资源的不同方法进行基准测试。

我猜两种方法的混合将带来最高效的结果,因为有些资源会立即交付,有些会有一些处理延迟。