PHP网页设计PHP 利用 CURL 同步抓取多个网页
怎么培养啊 别光说不练啊，好 ，比如新人入门自己步是配置环境，虽然现在都有很多的集成环境，但是真实的体验下配置环境还是会有很多帮助，不论是你以后工作还是在真实的linux下开发。普通CURL 抓网页的办法， 是一页一页抓， 假定要抓 4页， 所费工夫互异是 5,10,7,5 秒， 那全体总合所花的工夫就是 5 + 10 + 7 + 5 = 27 秒。若能同工夫去抓取多个网页， 所消费的工夫 5,10,7,5 秒， 全体总合所花的工夫是 10 秒。（消费最多工夫的秒数） 于JavaScript 可以使用 AJAX 的 async（YAHOO.util.Connect.asyncRequest）来告竣， 于 PHP 可以用 CURL 来告竣此 Multi-Threading 的后果。法式（async.php）
以下为援用的内容：
<?php
function async_get_url($url_array, $wait_usec = 0)
{
if (!is_array($url_array))
return false;
$wait_usec = intval($wait_usec);
$data = array();
$handle= array();
$running = 0;
$mh = curl_multi_init(); // multi curl handler
$i = 0;
foreach($url_array as $url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); // return don't print
curl_setopt($ch, CURLOPT_TIMEOUT, 30);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); // 302 redirect
curl_setopt($ch, CURLOPT_MAXREDIRS, 7);
curl_multi_add_handle($mh, $ch); // 把 curl resource 放进 multi curl handler 里
$handle[$i++] = $ch;
}
/* 履行 */
do {
curl_multi_exec($mh, $running);
if ($wait_usec > 0) /* 每一个 connect 要距离多久 */
usleep($wait_usec); // 250000 = 0.25 sec
} while ($running > 0);
/* 读取材料 */
foreach($handle as $i => $ch) {
$content= curl_multi_getcontent($ch);
$data[$i] = (curl_errno($ch) == 0) ? $content : false;
}
/* 移除 handle*/
foreach($handle as $ch) {
curl_multi_remove_handle($mh, $ch);
}
curl_multi_close($mh);
return $data;
}
?>
利用
以下为援用的内容：
<?php
$urls = array('http://example1.com', 'http://example2.com');
print_r(async_get_url($urls)); // => example1, => example2
?>
测试
sleep.php # 看工夫延伸获得的后果
以下为援用的内容：
<?php
sleep(intval($_GET['time']));
echo intval($_GET['time']);
?>
以下为援用的内容：
<?php
$url_array = array(
'http://example.com/sleep.php?time=5',
'http://example.com/sleep.php?time=10',
'http://example.com/sleep.php?time=7',
'http://example.com/sleep.php?time=5',
);
print_r(async_get_url($url_array));
// 总消费工夫会是 10 秒, 并印出 => 5, => 10, => 7, => 5
?>
毕业设计作品自己个人还是觉得比较满意的，尽管有些功能考虑的不全面，也没有很好的实现。 不禁又想起那些说php是草根语言的人，为什么认得差距这么大呢。 再就是混迹于论坛啦，咱们的phpchina的论坛就很强大，提出的问题一般都是有达人去解答的，以前的帖子也要多看看也能学到不少前辈们的经验。别的不错的论坛例如php100，javaeye也是很不错的。 我还是推荐用firefox ，配上firebug 插件调试js能省下不受时间。谷歌的浏览器最好也不少用，因为谷歌的大侠们实在是太天才啦，把一些原来的js代码加了一些特效。 遇到出错的时候，我经常把错误信息直接复制到 google的搜索栏，一般情况都是能搜到结果的，不过有时候会搜出来一大片英文的出来，这时候就得过滤一下，吧中文的弄出来，挨着式方法。 最后祝愿，php会给你带来快乐的同时 你也会给他带来快乐。 本人接触php时间不长，算是phper中的小菜鸟一只吧。由于刚开始学的时候没有名师指，碰过不少疙瘩，呗很多小问题卡过很久，白白浪费不少宝贵的时间，在次分享一些子的学习的心得。 ,熟悉html,能用div+css，还有javascript，优先考虑linux。我在开始学习的时候，就想把这些知识一起学习，我天真的认为同时学习能够互相呼应，因为知识是相通的。 说php的话，首先得提一下数组，开始的时候我是最烦数组的，总是被弄的晕头转向，不过后来呢，我觉得数组里php里最强大的存储方法，所以建议新手们要学好数组。 这些都是最基本最常用功能，我们这些菜鸟在系统学习后，可以先对这些功能深入研究。 当然这种网站的会员费就几十块钱。 做为1门年轻的语言，php一直很努力。 对于懒惰的朋友，我推荐php的集成环境xampp或者是wamp。这两个软件安装方便，使用简单。但是我还是强烈建议自己动手搭建开发环境。 建数据库表的时候，int型要输入长度的，其实是个摆设的输入几位都没影响的，只要大于4就行，囧。 刚开始安装php的时候，我图了个省事，把php的扩展全都打开啦（就是把php.ini 那一片 extension 前面的冒号全去掉啦），这样自然有好处，以后不用再需要什么功能再来打开。 刚开始安装php的时候，我图了个省事，把php的扩展全都打开啦（就是把php.ini 那一片 extension 前面的冒号全去掉啦），这样自然有好处，以后不用再需要什么功能再来打开。 遇到出错的时候，我经常把错误信息直接复制到 google的搜索栏，一般情况都是能搜到结果的，不过有时候会搜出来一大片英文的出来，这时候就得过滤一下，吧中文的弄出来，挨着式方法。 首先声明：我是一个菜鸟，是一个初学者。学习了一段php后总是感觉自己没有提高，无奈。经过反思我认为我学习过程中存在很多问题，我改变了学习方法后自我感觉有了明显的进步。 我还是强烈建议自己搭建php环境。因为在搭建的过程中你会遇到一些问题，通过搜索或是看php手册解决问题后，你会更加深刻的理解它们的工作原理，了解到php配置文件中的一些选项设置。 找到的的资料很多都是在论坛里的，需要注册，所以我一般没到一个论坛都注册一个id，所有的id都注册成一样的，这样下次再进来的时候就不用重复注册啦。当然有些论坛的某些资料是需要的付费的。
页:
[1]