辦公自動(dòng)化雜志 一、引言 本文主要是對(duì) Python 爬蟲技術(shù)進(jìn)行闡述，基于 python 的爬蟲與其他語言相比的有很多優(yōu)勢(shì)。通過爬去某個(gè)網(wǎng)站的所有新聞這個(gè)案例，來進(jìn)一步闡釋 Python 爬蟲技術(shù)的簡(jiǎn)潔與先進(jìn)性。 二、Python 爬蟲的概念 如果我們把互聯(lián)網(wǎng)比作一張大的蜘蛛網(wǎng)，數(shù)據(jù)便是存放于蜘蛛網(wǎng)的各個(gè)節(jié)點(diǎn)，而爬蟲就是一只小蜘蛛，沿著網(wǎng)絡(luò)抓取自己的獵物(數(shù)據(jù))爬蟲指的是：向網(wǎng)站發(fā)起請(qǐng)求，獲取資源后分析并提取有用數(shù)據(jù)的程序； 從技術(shù)層面來說就是通過程序模擬瀏覽器請(qǐng)求站點(diǎn)的行為，把站點(diǎn)返回的 HTML 代碼 /JSON 數(shù)據(jù) / 二進(jìn)制數(shù)據(jù)(圖片、視頻)爬到本地，進(jìn)而提取自己需要的數(shù)據(jù)，存放起來使用。三、基于 python 的爬蟲與其他語言相比的優(yōu)勢(shì) 1.抓取網(wǎng)頁本身的接口。 2.相比與其他靜態(tài)編程語言 如 java，c#，C++，python 抓取網(wǎng)頁文檔的接口更簡(jiǎn)潔；相比其他動(dòng)態(tài)腳本語言，如 perl，shell，python 的 urllib2 包提供了較為完整的訪問網(wǎng)頁文檔的 API。抓取網(wǎng)頁有時(shí)候需要模擬瀏覽器的行為，很多網(wǎng)站對(duì)于生硬的爬蟲抓取都是封殺的。我們需要模擬 user agent 的行為構(gòu)造合適的請(qǐng)求，譬如模擬用戶登陸、模擬 session/cookie 的存儲(chǔ)和設(shè)置。在 python 里都有非常優(yōu)秀的第三方，如 Requests，mechanize，一 切變得很容易。 3.網(wǎng)頁抓取后的處理 抓取的網(wǎng)頁需要處理，比如過濾 html 標(biāo)簽，提取文本等。python 的 beautifulsoap 提供了簡(jiǎn)潔的文檔處理功能，能用極短的代碼完成大部分文檔的處理。 四、爬蟲的基本流程 用戶獲取網(wǎng)絡(luò)數(shù)據(jù)的方式： 方式 1：瀏覽器提交請(qǐng)求→下載網(wǎng)頁代碼→解析成頁面。 方式 2：模擬瀏覽器發(fā)送請(qǐng)求(獲取網(wǎng)頁代碼)→提取有用的數(shù)據(jù)→存放于數(shù)據(jù)庫或文件中。 爬蟲要做的就是方式 2： 1.發(fā)起請(qǐng)求 使用 http 庫向目標(biāo)站點(diǎn)發(fā)起請(qǐng)求，即發(fā)送一個(gè) Request Request 包含：請(qǐng)求頭、請(qǐng)求體等。 Request 模塊缺陷：不能執(zhí)行 JS 和 CSS 代碼。 2.獲取響應(yīng)內(nèi)容如果服務(wù)器能正常響應(yīng)，則會(huì)得到一個(gè) Response。 Response 包含：html，json，圖片，視頻等。 3.解析內(nèi)容 解析 html 數(shù)據(jù)：正則表達(dá)式(RE 模塊)，第三方解析庫如 Beautifulsoup，pyquery 等。 基于 Python 爬蟲技術(shù)的應(yīng)用 曾曉娟 (江蘇安全技術(shù)職業(yè)學(xué)院 信息工程系 徐州 221011) 摘 要 對(duì) Python 爬蟲技術(shù)進(jìn)行闡述，基于 python 的爬蟲與其他語言相比有很多優(yōu)勢(shì)。通過爬去某個(gè)網(wǎng)站的所有新聞這個(gè)案例，來進(jìn)一步闡釋 Python 爬蟲技術(shù)的簡(jiǎn)潔與先進(jìn)性。 關(guān)鍵詞 Python 爬蟲技術(shù) 應(yīng)用 中圖分類號(hào) TP311 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 6535 Application of Crawler Technology Based on Python ZENG Xiaojuan (Department of Information Engineering, Jiangsu Safety Technology Career Academy Xuzhou 221011) Abstract The Python crawler technology is elaborated. The reptiles based on Python have many advantages compared with o

總結(jié)

以上是生活随笔為你收集整理的基于python爬虫技术的应用_基于Python爬虫技术的应用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。