本文用一個(gè)簡單的例子說明如何用python進(jìn)行爬蟲。

• python 2.7.5
• Ubuntu 14.04

所需的python庫

• urllib：用來抓取和解析網(wǎng)頁
• re：處理正則表達(dá)式

代碼塊

• 下面的例子是用python爬蟲獲取某網(wǎng)頁的圖片，并保存到本地

import urllib import re import osdef getHtml(url):page = urllib.urlopen(url)html = page.read()return htmldef getImg(html):reg = r'src="(.+?\.jpg)" pic_ext'imgre = re.compile(reg)imglist = re.findall(imgre, html)# save the pics to a new folder.os.mkdir('pics')local = os.getcwd() + '/pics/'x = 0for imgurl in imglist:urllib.urlretrieve(imgurl, local + '%s.jpg' % x)x += 1html = getHtml("http://tieba.baidu.com/p/2460150866")print getImg(html)

• 對(duì)正則表達(dá)式不熟悉的話可以學(xué)習(xí)一下相關(guān)知識(shí)
• 運(yùn)行該程序后會(huì)在pics目錄下看到下載好的jpg圖片

源文件在這里

• python爬蟲的功能很強(qiáng)大，可以根據(jù)所需信息的不同對(duì)正則表達(dá)式進(jìn)行修改
• 對(duì)爬取的數(shù)據(jù)可以依據(jù)數(shù)據(jù)挖掘的方式進(jìn)行處理
• 源文件

總結(jié)

以上是生活随笔為你收集整理的python爬虫实例的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。