亚洲精品中文字幕无乱码_久久亚洲精品无码AV大片_最新国产免费Av网址_国产精品3级片

PHP

PHP Curl多線程原理詳解

時間:2024-09-16 17:35:52 PHP 我要投稿
  • 相關(guān)推薦

PHP Curl多線程原理詳解

  給各位介紹一下Curl多線程實例與原理。不對之處請指教

  相信許多人對php手冊中語焉不詳?shù)腸url_multi一族的函數(shù)頭疼不已,它們文檔少,給的例子 更是簡單的讓你無從借鑒,我也曾經(jīng)找了許多網(wǎng)頁,都沒見一個完整的應(yīng)用例子。

  curl_multi_add_handle

  curl_multi_close

  curl_multi_exec

  curl_multi_getcontent

  curl_multi_info_read

  curl_multi_init

  curl_multi_remove_handle

  curl_multi_select

  一般來說,想到要用這些函數(shù)時,目的顯然應(yīng)該是要同時請求多個url,而不是一個一個依次請求,否則不如自己循環(huán)去調(diào)curl_exec好了。

  步驟總結(jié)如下:

  第一步:調(diào)用curl_multi_init

  第二步:循環(huán)調(diào)用curl_multi_add_handle

  這一步需要注意的是,curl_multi_add_handle的第二個參數(shù)是由curl_init而來的子handle。

  第三步:持續(xù)調(diào)用curl_multi_exec

  第四步:根據(jù)需要循環(huán)調(diào)用curl_multi_getcontent獲取結(jié)果

  第五步:調(diào)用curl_multi_remove_handle,并為每個字handle調(diào)用curl_close

  第六步:調(diào)用curl_multi_close

  這里有PHP手冊上的例子:

  復(fù)制代碼 代碼如下:

  <?php

  // 創(chuàng)建一對cURL資源

  $ch1 = curl_init();

  $ch2 = curl_init();

  // 設(shè)置URL和相應(yīng)的選項

  curl_setopt($ch1, CURLOPT_URL, "/");

  curl_setopt($ch1, CURLOPT_HEADER, 0);

  curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/");

  curl_setopt($ch2, CURLOPT_HEADER, 0);

  // 創(chuàng)建批處理cURL句柄

  $mh = curl_multi_init();

  // 增加2個句柄

  curl_multi_add_handle($mh,$ch1);

  curl_multi_add_handle($mh,$ch2);

  $active = null;

  // 執(zhí)行批處理句柄

  do {

  $mrc = curl_multi_exec($mh, $active);

  } while ($mrc == CURLM_CALL_MULTI_PERFORM);

  while ($active && $mrc == CURLM_OK) {

  if (curl_multi_select($mh) != -1) {

  do {

  $mrc = curl_multi_exec($mh, $active);

  } while ($mrc == CURLM_CALL_MULTI_PERFORM);

  }

  }

  // 關(guān)閉全部句柄

  curl_multi_remove_handle($mh, $ch1);

  curl_multi_remove_handle($mh, $ch2);

  curl_multi_close($mh);

  ?>

  整個使用過程差不多就是這樣,但是,這個簡單代碼有個致命弱點,就是在do循環(huán)的那段,在整個url請求期間是個死循環(huán),它會輕易導(dǎo)致CPU占用100%。

  現(xiàn)在我們來改進它,這里要用到一個幾乎沒有任何文檔的函數(shù)curl_multi_select了,雖然C的curl庫對select有說明,但是,php里的接口和用法確與C中有不同。

  把上面do的那段改成下面這樣:

  復(fù)制代碼 代碼如下:

  do {

  $mrc = curl_multi_exec($mh,$active);

  } while ($mrc == CURLM_CALL_MULTI_PERFORM);

  while ($active and $mrc == CURLM_OK) {

  if (curl_multi_select($mh) != -1) {

  do {

  $mrc = curl_multi_exec($mh, $active);

  } while ($mrc == CURLM_CALL_MULTI_PERFORM);

  }

  }

  因為$active要等全部url數(shù)據(jù)接受完畢才變成false,所以這里用到了curl_multi_exec的返回值判斷是否還有數(shù)據(jù),當(dāng)有數(shù)據(jù)的時候就不停調(diào)用curl_multi_exec,暫時沒有數(shù)據(jù)就進入select階段,新數(shù)據(jù)一來就可以被喚醒繼續(xù)執(zhí)行。這里的好處就是CPU的無謂消耗沒有了。

  另外:還有一些細(xì)節(jié)的地方可能有時候要遇到:

  控制每一個請求的超時時間,在curl_multi_add_handle之前通過curl_setopt去做:

  curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);

  判斷是否超時了或者其他錯誤,在curl_multi_getcontent之前用:curl_error($conn[$i]);

  本類的特點:

  運行非常穩(wěn)定。

  設(shè)置一個并發(fā)就會始終以這個并發(fā)數(shù)進行工作,即使通過回調(diào)函數(shù)添加任務(wù)也不影響。

  CPU占用極低,絕大部分CPU消耗在用戶的回調(diào)函數(shù)上。

  內(nèi)存利用率高,任務(wù)數(shù)量較多(15W個任務(wù)占用內(nèi)存會超過256M)可以使用回調(diào)函數(shù)添加任務(wù),個數(shù)自定。

  能夠最大限度的占用帶寬。

  鏈?zhǔn)饺蝿?wù),比如一個任務(wù)需要從多個不同的地址采集數(shù)據(jù),可以通過回調(diào)一氣呵成。

  能夠?qū)URL錯誤進行多次嘗試,次數(shù)自定(大并發(fā)一開始容易產(chǎn)生CURL錯誤,網(wǎng)絡(luò)狀況或?qū)Ψ椒⻊?wù)器穩(wěn)定性也有可能產(chǎn)生CURL錯誤)。

  回調(diào)函數(shù)相當(dāng)靈活,可以多種類型任務(wù)同時進行(比如下載文件,抓取網(wǎng)頁,分析404可以在一個PHP進程中同時進行)。

  可以非常容易的定制任務(wù)類型,比如檢查404,獲取redirect的最后url等。

  可以設(shè)置緩存,挑戰(zhàn)產(chǎn)品節(jié)操。

  不足:

  不能充分利用多核CPU(可以開多個進程解決,需要自己處理任務(wù)分割等邏輯)。

  最大并發(fā)500(或512?),經(jīng)過測試是CURL 內(nèi)部限制,超過最大并發(fā)會導(dǎo)致總是返回失敗。

  目前沒有斷點續(xù)傳功能。

  目前任務(wù)是原子性的,不能對一個大文件分為幾部分分別開線程下載。

  

【PHP Curl多線程原理詳解】相關(guān)文章:

php實習(xí)心得12-01

php實習(xí)報告11-07

php工作總結(jié)11-11

php是什么格式?01-14

PHP Socket編程過程02-09

php開發(fā)主管的職責(zé)05-15

2024年java多線程面試題及答案09-04

php開發(fā)主管的工作職責(zé)09-29

php實習(xí)報告(5篇)11-08

php實習(xí)心得7篇12-02