php从网页获得数据,php根据URL获得网页内容
php 中根據(jù)url來獲得網(wǎng)頁內(nèi)容非常的方便,可以通過系統(tǒng)內(nèi)置函數(shù)file_get_contents(),傳入url,即可返回網(wǎng)頁的內(nèi)容,比如獲得百度首頁的內(nèi)容代碼為:
$html = file_get_contents('http://www.baidu.com/');
echo $html;
就可以顯示出百度首頁的內(nèi)容,但是,這個函數(shù)不是萬能的,因為有些服務器會禁用掉這個函數(shù),或者說這個函數(shù)因為沒有傳給服務器某些必要的參數(shù),而被服務器拒絕響應,舉個例子:
$html = file_get_contents('http://www.163.com/');
echo $html;
這個代碼就不能得到網(wǎng)易的首頁完全的代碼,會返回如下的頁面,這時我們就需要想其他的辦法了。
這里我們引入php的cURL 庫,可以簡單和有效地去抓網(wǎng)頁。你只需要運行一個腳本,然后分析一下你所抓取的網(wǎng)頁,然后就可以以程序的方式得到你想要的數(shù)據(jù)了。無論是你想從從一個鏈接上取部分數(shù)據(jù),或是取一個XML文件并把其導入數(shù)據(jù)庫,那怕就是簡單的獲取網(wǎng)頁內(nèi)容,cURL 是一個功能強大的PHP庫。使用它首先你得在php的配置文件中開啟它,開啟的時候,在windows中可能需要一些 dll,這里就不相信介紹了,查看是否開啟了curl,可以調(diào)用phpinfo();來查看,如果開啟了,會在“Loaded Extensions”中顯示。
下面給出使用curl獲取網(wǎng)頁代碼的簡單例子:
$ch = curl_init();
$timeout = 10; // set to zero for no timeout
curl_setopt ($ch, CURLOPT_URL,'http://www.163.com/');
curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/34.0.1847.131 Safari/537.36');
curl_setopt ($ch, CURLOPT_CONNECTTIMEOUT, $timeout);
$html = curl_exec($ch);
echo $html;
通過這段代碼就可以輸出網(wǎng)易首頁的內(nèi)容了,這里標記紅顏色的代碼是關鍵,因為他模擬了瀏覽器的agent,這樣服務器就會以為它是瀏覽器去訪問的,所以給他返回正確的html.
總結(jié)
以上是生活随笔為你收集整理的php从网页获得数据,php根据URL获得网页内容的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 手机怎么能把书签导出来_成人高考能在手机
- 下一篇: 动态规划算法php,php算法学习之动态