本文主要實現一個簡單的爬蟲，目的是從一個百度貼吧頁面下載圖片。

1. 概述

本文主要實現一個簡單的爬蟲，目的是從一個百度貼吧頁面下載圖片。下載圖片的步驟如下：

獲取網頁html文本內容；

分析html中圖片的html標簽特征，用正則解析出所有的圖片url鏈接列表；

根據圖片的url鏈接列表將圖片下載到本地文件夾中。

2. urllib+re實現

#!/usr/bin/python # coding:utf-8 # 實現一個簡單的爬蟲，爬取百度貼吧圖片 import urllib import re# 根據url獲取網頁html內容 def getHtmlContent(url):page = urllib.urlopen(url)return page.read()# 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html):# 解析jpg圖片url的正則jpgReg = re.compile(r'<img.+?src="(.+?.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度# 解析出jpg的url列表jpgs = re.findall(jpgReg,html)return jpgs# 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName):urllib.urlretrieve(imgUrl,fileName)# 批量下載圖片，默認保存到當前目錄下 def batchDownloadJPGs(imgUrls,path = './'):# 用于給圖片命名count = 1for url in imgUrls:downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))count = count + 1# 封裝：從百度貼吧網頁下載圖片 def download(url):html = getHtmlContent(url)jpgs = getJPGs(html)batchDownloadJPGs(jpgs)def main():url = 'http://tieba.baidu.com/p/2256306796'download(url)if __name__ == '__main__':main()

運行上面腳本，過幾秒種之后完成下載，可以在當前目錄下看到圖片已經下載好了：

3. requests + re實現

下面用requests庫實現下載，把getHtmlContent和downloadJPG函數都用requests重新實現。

#!/usr/bin/python # coding:utf-8 # 實現一個簡單的爬蟲，爬取百度貼吧圖片 import requests import re# 根據url獲取網頁html內容 def getHtmlContent(url):page = requests.get(url)return page.text# 從html中解析出所有jpg圖片的url # 百度貼吧html中jpg圖片的url格式為：<img ... src="XXX.jpg" width=...> def getJPGs(html):# 解析jpg圖片url的正則jpgReg = re.compile(r'<img.+?src="(.+?.jpg)" width') # 注：這里最后加一個'width'是為了提高匹配精確度# 解析出jpg的url列表jpgs = re.findall(jpgReg,html)return jpgs# 用圖片url下載圖片并保存成制定文件名 def downloadJPG(imgUrl,fileName):# 可自動關閉請求和響應的模塊from contextlib import closingwith closing(requests.get(imgUrl,stream = True)) as resp:with open(fileName,'wb') as f:for chunk in resp.iter_content(128):f.write(chunk)# 批量下載圖片，默認保存到當前目錄下 def batchDownloadJPGs(imgUrls,path = './'):# 用于給圖片命名count = 1for url in imgUrls:downloadJPG(url,''.join([path,'{0}.jpg'.format(count)]))print '下載完成第{0}張圖片'.format(count)count = count + 1# 封裝：從百度貼吧網頁下載圖片 def download(url):html = getHtmlContent(url)jpgs = getJPGs(html)batchDownloadJPGs(jpgs)def main():url = 'http://tieba.baidu.com/p/2256306796'download(url)if __name__ == '__main__':main()

成長離不開與優秀的同伴共同交流，如果你需要好的學習環境，好的學習資源，這里歡迎每一位熱愛Python的小伙伴，Python學習圈

輸出：和前面一樣。

總結

以上是生活随笔為你收集整理的src获取同级目录中的图片_一个简单的Python爬虫实例：百度贴吧页面下载图片的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。