金沙注册送58体验金-金沙国际唯一官网网址

在线咨询
QQ咨询
服务热线

020-85201717

020-85201720

业务微信

微信开发

TOP

一个简单的网站采集的的过程

发布时间:2021-01-05 浏览:

随着时代的发展,社会越来越信息快速化,所以信息更新非常的迅速,这让很多站长在更新自家的网站信息时,显得太浪费时间,该怎么办呢?那就是通过采集将别家的信息录入到自家网站的数据库中,这样做可能对网站的优化会有一定的影响,但这不是大家今天讨论的话题,今天就用一个示例简单讲一下网站采集的的过程


大家先来看下面的一个实例,这是客户的网站要求采集太平洋网站的资讯,代码如下图所示(附说明):


header("content-type:text/html;charset=utf-8");//


采集网址


$ch = curl_init();


curl_setopt($ch, CURLOPT_URL, $url);//将为一个CURL会话设置选项。CURLOPT_URL参数是你想要的设置, 这是你想用PHP取回的URL地址,$url是这个选项给定的值


curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);//如果有证书的https的,除去https里面的s,此句非常重要,不可删除,否则带有https的站点将无法打开


curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//所获的内容不输出


$data=curl_exec($ch);//将页面的内容赋于$data,即$data就是大家打开网页后的内容代码


$data=iconv('gbk', 'utf-8',$data);//防止中文的乱码,做转码处理


curl_close($ch);//关闭cURL 会话


咱们先打开太平洋资讯网,然后查看网页源代码,找到要采集的信息内容,截图下图:


网页截图


广州网站建设企业价格,品牌型网站建设价格,商城网站建设价格,响应式网站建设价格,广州网站设计制


根据上面的代码,大家可以写一个正则表达:


$path = '#


(.*?)

(.*?)

(.*?)  |  (.*?)


#is';           preg_match_all($path,$data,$arr);//正则匹配,其中$path是匹配的规则,$data是想要匹配的内容,$datapath给定正则表达式 的匹配结果并且将它们以flag指定顺序输出到$arr中.


$array = array();//初始化一个数组


foreach($arr as $k=>$v){


if($k==3||$k==4||$k==5||$k==6||$k==9){ //想要的参数有哪些


$array[$k] = $v;}}


if(!empty($array)){


$array = array_values($array);//重置数组key,让数组的key从0开始计算,也可以不重置,但不要弄错


}


/*


# 其中


$array[0] 是信息的图片相对地址的数组


$array[1] 是信息链接地址的数组


$array[2] 是信息标题的数组


$array[3] 是信息列表概况的数组


$array[4] 是信息时间的数组


Print_r($array);根据输入的数组信息就知道如何把数据添加到数据库了,然后根据url再采集信息里面的详细内容,以达到采集整条信息的完整性


*/


金沙注册送58体验金|金沙国际唯一官网网址

XML 地图 | Sitemap 地图