日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python爬虫贴吧_Python爬虫简单实现,贴吧图片一键下

發布時間:2023/12/15 python 30 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python爬虫贴吧_Python爬虫简单实现,贴吧图片一键下 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

在平常上網閱讀網頁的時刻,經常會看到一些好看的圖片,就盼望把這些圖片保留下載,或許用戶用來做桌面壁紙,或許用來做計劃的素材。

最慣例的做法便是經由過程鼠標右鍵,抉擇另存為。但有些圖片鼠標右鍵的時刻并無另存為選項,另有方法就經由過程便是經由過程截圖對象截取上去,但如此就降低圖片的清晰度。

能夠通過python 來完成這樣一個簡略的爬蟲功效,把想要的圖片爬取到當地。上面就看看如何應用python來完成這樣的功效。

一,獲得全部頁面數據

起首能夠先獲得要下載圖片的全部頁面信息。寫一個py

#coding=utf-8

import urllib

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

return html

html = getHtml("http://tieba.baidu.com/p/2738151262")

print html

Urllib 模塊提供了讀取web頁面數據的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數據。首先,我們定義了一個getHtml()函數:

urllib.urlopen()方法用于打開一個URL地址。

read()方法用于讀取URL上的數據,向getHtml()函數傳遞一個網址,并把整個頁面下載下來。執行程序就會把整個網頁打印輸出。

二,篩選頁面中想要的數據

Python 提供了非常強大的正則表達式,需要先要了解一點python 正則表達式的知識才行。查看頁面源代碼。

python爬蟲

假如在百度貼吧找到了幾張漂亮的壁紙,通過到前段查看工具。找到了圖片的地址,如:src=”http://imgsrc.baidu.com/forum……jpg”pic_ext=”jpeg”

修改代碼如下:

import re

import urllib

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

return html

def getImg(html):

reg = r'src="(.+?\.jpg)" pic_ext'

imgre = re.compile(reg)

imglist = re.findall(imgre,html)

return imglist

html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

創建了getImg()函數,用于在獲取的整個頁面中篩選需要的圖片連接。re模塊主要包含了正則表達式:

re.compile() 可以把正則表達式編譯成一個正則表達式對象.

re.findall() 方法讀取html 中包含 imgre(正則表達式)的數據。

運行腳本將得到整個頁面中包含圖片的URL地址。

三,將頁面篩選的數據保存到本地

把篩選的圖片地址通過for循環遍歷并保存到本地,代碼如下:

#coding=utf-8

import urllib

import re

def getHtml(url):

page = urllib.urlopen(url)

html = page.read()

return html

def getImg(html):

reg = r'src="(.+?\.jpg)" pic_ext'

imgre = re.compile(reg)

imglist = re.findall(imgre,html)

x = 0

for imgurl in imglist:

urllib.urlretrieve(imgurl,'%s.jpg' % x)

x+=1

html = getHtml("http://tieba.baidu.com/p/2460150866")

print getImg(html)

這里的核心是用到了urllib.urlretrieve()方法,直接將遠程數據下載到本地。

通過一個for循環對獲取的圖片連接進行遍歷,為了使圖片的文件名看上去更規范,對其進行重命名,命名規則通過x變量加1。保存的位置默認為程序的存放目錄。

程序運行完成,將在目錄下看到下載到本地的文件。

總結

以上是生活随笔為你收集整理的python爬虫贴吧_Python爬虫简单实现,贴吧图片一键下的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。