php爬虫js解析,Spider抓取动态内容(JavaScript指向的页面)
PHP新手,在寫(xiě)爬蟲(chóng)練手,一般情況下跟蹤鏈接不是很難,但是如果是動(dòng)態(tài)頁(yè)面就束手無(wú)策了。
也許分析協(xié)議(但是怎么分析?),模擬執(zhí)行JavaScript腳本(怎么弄?),……
另外可能寫(xiě)一個(gè)通用的爬取AJAX頁(yè)面的Spider或許是比較復(fù)雜的問(wèn)題,沒(méi)有聽(tīng)說(shuō)或相關(guān)開(kāi)源項(xiàng)目。
下面是問(wèn)題描述:
比如一個(gè)頁(yè)面的下一頁(yè)(ajax函數(shù)中有一個(gè)得到url對(duì)應(yīng)數(shù)據(jù)放到content標(biāo)簽部分):
javascript: 下一頁(yè)
對(duì)應(yīng)的JavaScript代碼可能是:
function Down(index)
{
$("#pageindex").val(parseInt(index)+1);
ajaxpage(parseInt(index)+1);
}
function ajaxpage(index)
{
$.ajax({
type:"post",
url:"class.aspx",
data:"Option=select&cid="+$("#classid").val()+"&asc="+$("#orderselect>option:selected").val()+"&keyword="+escape($("#textfield").val())+"&PI="+index,
success:function(data)
{
$("#content").html(data);
},
error: function(data) {
alert("連接超時(shí),稍后再試!");
}
}
ps: 我正在翻Stackoverflow,期望有進(jìn)展,但是可能放在這里可能會(huì)更快得到解答。
總結(jié)
以上是生活随笔為你收集整理的php爬虫js解析,Spider抓取动态内容(JavaScript指向的页面)的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 如何使用Cisdem Video Con
- 下一篇: 动态规划算法php,php算法学习之动态