日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > php >内容正文

php

php采集分析,PHP采集程序原理分析篇

發布時間:2025/3/21 php 11 豆豆
生活随笔 收集整理的這篇文章主要介紹了 php采集分析,PHP采集程序原理分析篇 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

由于需要,要寫一個簡單的PHP采集程序,照例是到網上找了一堆教程,然后照貓畫虎,可是發現網上的教程全是似是而非,沒有一個真正能用的。苦想了幾天,終于弄明白了里面的道理。在這里寫出來,請高手指正。

采集程序的思路很簡單,無非就是先打一個頁面,一般都是列表頁,取得里面全部鏈接的地址,然后打開逐條鏈接,尋找我們感興趣的東西,如果找到,就把它入庫或別的處理。下面以一個很簡單的例子來說說。

首先確定一個采集頁,一般就是列表面了。這里目標是:http://www.cit.cn/article/11/index.htm。這是一個列表頁,我們的目的就是采集這個列表頁上全部的文章。有列表頁了,第一步先打開它,把它的內容納入到我們的程序中來。一般用fopen或是file_get_contents這兩個函數,我們這里用fopen作例子。怎么打開它呢?很簡單:$source=fopen("[url=http://www.cit.cn/article/11/index.htm",]http://www.cit.cn/article/11/index.htm",'r'[/url]);實際上已經把內容納入到我們的程序中來了。注意得到的$source是一個資源,不是可處理的文本,所以再用函數fread將內容讀到一個變量中,這次就是真正的可編輯的文本了。例子:

$content=fread($source,99999);后面的數字表示字節數,填個大的就行。你用file_put_contents將$content寫入到一個文本文件,可以看出里面的內容其實就是網頁的源碼。得到了網頁的源碼,我們就要分析里面的文章鏈接地址,這里要用到正則表達式了,[推薦正則表達式教程(http://www.cit.cn/article/7/all/545.1.htm)]。通過查看源代碼,我們可以看到里面文章的鏈接地址全是這個樣子

將數據庫連接代碼封裝在函數里,在需要讀取時調用..

我們就可以寫正則表達式了。$count=preg_match_all("/

(.+?)/",$content,$art_list);

其中數組$art_list[1][$s]里面包含的就是某個文章的鏈接地址。而$art_list[2][$s]包含的就是某一文章的標題。到了這一步就可以算成功了一半了。

接著用for循環依次打每個鏈接,然后像取得標題一樣的方法取得內容即可。以上這些和我在網上找的教程都差不多,但是到了這個for循環網上的教程可就差勁,還沒找到一篇可以說清這個事的文章,剛開始我是用js來幫助循環的,還是用實例說吧,剛開始我是這樣做的:

for($i=0;$i<20;4i++ {

中間就是采集內容的部分了,省略了

采集了一頁,肯定要采集再一頁啊

可是再用fopen打開鏈接時就不行了。請求失敗什么的,用js也不行,最后才知道要用這句echo "";其中aa.php就是我們的程序的文件名, id后面的數字就可以幫助我們實現循環,采集多個頁面。這就是能真正循環起來的關鍵

}

腦子有點難受,寫得有點亂,將就著看吧,在高手看來這可能沒什么大不了的,可是對于我等菜鳥來說,實在是很有幫助。

《新程序員》:云原生和全面數字化實踐50位技術專家共同創作,文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的php采集分析,PHP采集程序原理分析篇的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 成人免费高清 | 国产午夜视频在线播放 | av中文资源在线 | 久操热 | 精品黄色 | 美女的胸给男人玩视频 | 午夜桃色| 国产精品色悠悠 | 黄色小说网站在线观看 | 性欧美丰满熟妇xxxx性 | 99久久香蕉 | 原神淫辱系列同人h | 毛片网 | 伊人精品国产 | 国产主播一区二区 | 黄色高清在线观看 | 久久久精品91 | 怡红院一区二区 | 国产内射老熟女aaaa∵ | 国产日韩欧美二区 | 日韩porn | 国产精品中文字幕在线 | 久久色在线观看 | 精品中文字幕一区二区 | av网址免费在线观看 | 四虎永久在线观看 | 99国产精品欲 | 亚洲天堂2020| 涩涩网站在线观看 | 大又大又粗又硬又爽少妇毛片 | 亚洲美女网站 | 欧美整片在线 | 在线岛国 | 日本韩国欧美中文字幕 | 波多野结衣二区 | 国内精品一区二区 | 免费看操片 | 无码国产69精品久久久久网站 | 美美女高清毛片视频免费观看 | 西西人体做爰大胆gogo | 日韩不卡高清视频 | 国产精品一区视频 | 国产三级精品视频 | 国产欧美日韩在线视频 | 在线色站 | 中文字幕亚洲不卡 | 中文字幕亚洲欧美日韩在线不卡 | 蜜臀久久久久久999 大陆熟妇丰满多毛xxxⅹ | 国产超碰人人 | 欧美黄色小说 | 欧美精品一区视频 | 黄色国产免费 | 成人爱爱免费视频 | 97精品人妻麻豆一区二区 | 成人在线播放网站 | 亚洲综合图色40p | 国产一区中文 | 加勒比精品 | 美女久久久久久久久久 | 国产一国产精品一级毛片 | 人妻少妇无码精品视频区 | 久久国产91| 91成人精品| 国产二区一区 | 欧美色图第一页 | 巨大乳の揉んで乳榨り奶水 | 久久久久人妻精品一区二区三区 | 狠狠ri| 日韩男女啪啪 | 黑人玩弄人妻一区二区三区 | 97黄色片| 天天干天天操天天摸 | 国产又大又黑又粗免费视频 | a一级免费视频 | 国产农村妇女精品一区 | 一个人看的www日本高清视频 | 九九热在线免费视频 | www.av88| 国产区亚洲区 | 黄色网免费看 | 国产强被迫伦姧在线观看无码 | 天天干天天色 | 亚洲精品中文字幕乱码三区 | 999av视频 | 成人av社区 | 国产精品视屏 | 伊人色图| 国产国语亲子伦亲子 | 爱爱综合网 | 欧美日韩一二三区 | 欧美黄色大片免费观看 | 日韩在线一二 | 在线免费观看不卡av | 日韩在线观看免费高清 | 国产精品成人国产乱一区 | 日韩一区二区高清视频 | 美女中文字幕 | 波多野结衣激情视频 | 亚洲视频 中文字幕 |