在实际项目或者自己编写小工具(比如新闻聚合,商品价格监控,比价)的过程中, 通常需要从第3方网站或者API接口获取数据, 在需要处理1个URL队列时, 为了提高性能, 可以采用cURL提供的curl_multi_*族函数实现简单的并发。
本文将探讨两种具体的实现方法, 并对不同的方法做简单的性能对比.
1. 经典cURL并发机制及其存在的问题
经典的cURL实现机制在网上很容易找到, 比如参考PHP在线手册的如下实现方式:

classic_curl($urls,
$delay)
 {

    $queue

= curl_multi_init();

    $map

= array();

    foreach

($urls

as
$url)
 {

        //
 create cURL resources

        $ch

= curl_init();

        //
 set URL and other appropriate options

        curl_setopt($ch,
 CURLOPT_URL, $url);

        curl_setopt($ch,
 CURLOPT_TIMEOUT, 1);

        curl_setopt($ch,
 CURLOPT_RETURNTRANSFER, 1);

        curl_setopt($ch,
 CURLOPT_HEADER, 0);

        curl_setopt($ch,
 CURLOPT_NOSIGNAL, true);

        //
 add handle

        curl_multi_add_handle($queue,
$ch);

        $map[$url]
 = $ch;

    }

    $active

= null;

    //
 execute the handles

    do

{

        $mrc

= curl_multi_exec($queue,
$active);

    }
while

($mrc

== CURLM_CALL_MULTI_PERFORM);

    while

($active

> 0 && $mrc

== CURLM_OK) {

        if

(curl_multi_select($queue,
 0.5) != -1) {

            do

{

                $mrc

= curl_multi_exec($queue,
$active);

            }
while

($mrc

== CURLM_CALL_MULTI_PERFORM);

        }

    }

    $responses

= array();

    foreach

($map

as
$url=>$ch)
 {

        $responses[$url]
 = callback(curl_multi_getcontent($ch),
$delay);

        curl_multi_remove_handle($queue,
$ch);

        curl_close($ch);

    }

    curl_multi_close($queue);

    return

$responses;

}