• 欢迎访问开心洋葱网站,在线教程,推荐使用最新版火狐浏览器和Chrome浏览器访问本网站,欢迎加入开心洋葱 QQ群
  • 为方便开心洋葱网用户,开心洋葱官网已经开启复制功能!
  • 欢迎访问开心洋葱网站,手机也能访问哦~欢迎加入开心洋葱多维思维学习平台 QQ群
  • 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏开心洋葱吧~~~~~~~~~~~~~!
  • 由于近期流量激增,小站的ECS没能经的起亲们的访问,本站依然没有盈利,如果各位看如果觉着文字不错,还请看官给小站打个赏~~~~~~~~~~~~~!

一个php递归抓取网页的类

PHP 水墨上仙 2595次浏览 0个评论

一个php递归抓取网页的类

<?php
class crawler{
	private $_depth=5;
	private $_urls=array();
	
	
	function extract_links($url)
	{
		if(!$this->_started){
			$this->_started=1;
			$curr_depth=0;
		}else{
			$curr_depth++;
		}
		if($curr_depth<$this->_depth)
		{
			$data=file_get_contents($url);
			if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
			{
				foreach($urls12[0] as $k=>$v){
					$check=get_headers($v,1);
					if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
						$this->_urls[]=$v;
						$this->extract_links($v);
					}
				}
			}
		}
		return $this->_urls;
	}
}
?>


开心洋葱 , 版权所有丨如未注明 , 均为原创丨未经授权请勿修改 , 转载请注明一个php递归抓取网页的类
喜欢 (0)

您必须 登录 才能发表评论!

加载中……