?

本文主要實現一個簡單的爬蟲，目的是從一個百度貼吧頁面下載圖片。

1. 概述

本文主要實現一個簡單的爬蟲，目的是從一個百度貼吧頁面下載圖片。下載圖片的步驟如下：

獲取網頁html文本內容；

分析html中圖片的html標簽特征，用正則解析出所有的圖片url鏈接列表；

根據圖片的url鏈接列表將圖片下載到本地文件夾中。

2. urllib+re實現

#!/usr/bin/python # coding:utf-8 # 實現一個簡單的爬蟲，爬取百度貼吧圖片 import urllib import re # 根據url獲取網頁html內容 def getHtmlContent(url): page = urllib.urlopen(url) return page.read() # 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html): # 解析jpg圖片url的正則 jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度 # 解析出jpg的url列表 jpgs = re.findall(jpgReg,html) return jpgs # 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName): urllib.urlretrieve(imgUrl,fileName) # 批量下載圖片，默認保存到當前目錄下 def batchDownloadJPGs(imgUrls,path = './'): # 用于給圖片命名 count = 1 for url in imgUrls: downloadJPG(url,''.join([path,'{0}.jpg'.format(count)])) count = count + 1 # 封裝：從百度貼吧網頁下載圖片 def download(url): html = getHtmlContent(url) jpgs = getJPGs(html) batchDownloadJPGs(jpgs) def main(): url = 'http://tieba.baidu.com/p/2256306796' download(url) if __name__ == '__main__': main()

運行上面腳本，過幾秒種之后完成下載，可以在當前目錄下看到圖片已經下載好了：

3. requests + re實現

下面用requests庫實現下載，把getHtmlContent和downloadJPG函數都用requests重新實現。

#!/usr/bin/python # coding:utf-8 # 實現一個簡單的爬蟲，爬取百度貼吧圖片 import requests import re # 根據url獲取網頁html內容 def getHtmlContent(url): page = requests.get(url) return page.text # 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html): # 解析jpg圖片url的正則 jpgReg = re.compile(r'<img.+?src="(.+?\.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度 # 解析出jpg的url列表 jpgs = re.findall(jpgReg,html) return jpgs # 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName): # 可自動關閉請求和響應的模塊 from contextlib import closing with closing(requests.get(imgUrl,stream = True)) as resp: with open(fileName,'wb') as f: for chunk in resp.iter_content(128): f.write(chunk) # 批量下載圖片，默認保存到當前目錄下 def batchDownloadJPGs(imgUrls,path = './'): # 用于給圖片命名 count = 1 for url in imgUrls: downloadJPG(url,''.join([path,'{0}.jpg'.format(count)])) print '下載完成第{0}張圖片'.format(count) count = count + 1 # 封裝：從百度貼吧網頁下載圖片 def download(url): html = getHtmlContent(url) jpgs = getJPGs(html) batchDownloadJPGs(jpgs) def main(): url = 'http://tieba.baidu.com/p/2256306796' download(url) if __name__ == '__main__': main()

輸出：和前面一樣。

轉載于:https://www.cnblogs.com/Jeremy2001/p/10203326.html

總結

以上是生活随笔為你收集整理的$python爬虫系列（1）——一个简单的爬虫实例的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。