Question

好吧，我不知道如何很好地说出这个问题。但是我尽我所能努力让多卷曲脚本尽可能快地工作。我的第一次尝试就是直接来自PHP文档...

do {
    $mrc = curl_multi_exec($this->multi_handle, $active);
} while ($mrc == CURLM_CALL_MULTI_PERFORM);

while ($active && $mrc == CURLM_OK) {
    if (curl_multi_select($this->multi_handle) != -1) {
        do {
            $mrc = curl_multi_exec($this->multi_handle, $active);
        } while ($mrc == CURLM_CALL_MULTI_PERFORM);
    }
    else
        return;
}

这非常慢。对于100个条目，大约需要30秒。起初我以为没有什么可以做的，但后来我尝试了在互联网上找到的这个解决方案......

  while (($execrun = curl_multi_exec($this->multi_handle, $running)) ==                           CURLM_CALL_MULTI_PERFORM) {
    ;
  }
  if ($execrun != CURLM_OK) {
    break;
  }

这让我感到震惊，因为当我运行100个网址时，它只需不到5秒钟，所有数据都会像计划一样存储在数据库中。但问题是，如果我通过此运行500个网址，它会开始丢失一些数据或从网址复制数据。它仍然以令人难以置信的速度完成，但我没有一个缺少信息的脚本。我在这个问题上搜索了好几个星期。我有PHP 5.5。我只是无法得到一个解决方案，让它的工作速度与第二个解决方案一样快，但不会跳过像第一个解决方案那样的任何数据。我已经搜索过我的脚本，它实际上归结为这段代码。 Curl_multi_select只是循环并在开始下一个之前单独获取每个条目。第二个解决方案是我想要的速度，但不是可靠性。

以下是我正在使用的选项。它们是小写的，但可以正确添加到setopt_array中。

        ,'returntransfer'   => 1
        ,'followlocation'   => 1
        ,'maxredirs'        => 10
        ,'header'           => 0
        ,'post'             => false
        ,'timeout'          => 10
        ,'connecttimeout'   => 5
        ,'ipresolve'        => 'CURL_IPRESOLVE_V4'
        ,'httpheader'       => null
        ,'useragent'        => $_SERVER['HTTP_USER_AGENT']
        ,'encoding'         => ''
        ,'ssl_verifypeer'   => false
        ,'ssl_verifyhost'   => false

如果有任何建议或帮助，您可以让我加快curl_mutli_select或使第二个选项捕获跳过的网址或重复的网址，这将是非常棒的。我可以根据要求提供其他信息。提前谢谢。

另一个重要的问题是，第二个脚本中发生了什么，它可以让它如此快速地工作。显然，有一种方法可以使用多个卷曲脚本，速度非常快，因为它可以通过100个URL，获取内容，解析内容，非常快速地将数据存储在表中。 php文档版本刚刚被curl_multi_select所困扰，但这似乎是确保每个请求都得到处理的关键。不知何故，第二个版本正在跳过一些请求或重复请求。

Answer 1

好吧，我找到了一个适用于第二个例子的bandaid解决方案......并且每个url都被使用了。我有一个类，在数组中保存请求。所以我做的就是这个...

        // Now grab the information about the completed requests
    while ($info = curl_multi_info_read($this->multi_handle)) {
        //
        // tons of stuff here that is not relevant to the fix

        if(curl_getinfo($ch, CURLINFO_HTTP_CODE) == 200)
        {
            call_user_func($callback, $content, $url, $ch, $user_data, $user_data);

            unset($this->outstanding_requests[$ch_array_key]);

            curl_multi_remove_handle($this->multi_handle, $ch);
        }
        else
        {
            //unset the outstanding request so it doesn't get stuck in a loop
            unset($this->outstanding_requests[$ch_array_key]);

            //these come back as 0's, so not found. Restart the request
            self::startRequest($url);   
        }
    }

因此，解决方案是找到以HTTP：0返回的任何条目，然后重新启动其请求。我现在唯一的问题是，这会让它变慢一点。我可以在不到7秒的时间内完成100个请求，但是当我尝试500或1000时，它会逐渐变慢。要找出导致这种情况的原因。如果您有任何提示，请告诉我。我记录了内存使用情况，内存似乎不是问题，除非我在循环中遗漏了一些东西。

PHP Multi Curl curl_multi_select减慢了进程。另一个选项工作得更快，但有缺陷？

1 个答案: