一.urllib庫(kù)

urllib是Python自帶的一個(gè)用于爬蟲(chóng)的庫(kù)，其主要作用就是可以通過(guò)代碼模擬瀏覽器發(fā)送請(qǐng)求。其常被用到的子模塊在Python3中的為urllib.request和urllib.parse，在Python2中是urllib和urllib2。

二.由易到難的爬蟲(chóng)程序：

1.爬取百度首頁(yè)面所有數(shù)據(jù)值

1 #!/usr/bin/env python

2 #-*- coding:utf-8 -*-

3 #導(dǎo)包

4 importurllib.request5 importurllib.parse6 if __name__ == "__main__":7 #指定爬取的網(wǎng)頁(yè)url

8 url = 'http://www.baidu.com/'

9 #通過(guò)urlopen函數(shù)向指定的url發(fā)起請(qǐng)求，返回響應(yīng)對(duì)象

10 reponse = urllib.request.urlopen(url=url)11 #通過(guò)調(diào)用響應(yīng)對(duì)象中的read函數(shù)，返回響應(yīng)回客戶(hù)端的數(shù)據(jù)值(爬取到的數(shù)據(jù))

12 data = reponse.read()#返回的數(shù)據(jù)為byte類(lèi)型，并非字符串

13 print(data)#打印顯示爬取到的數(shù)據(jù)值。

#補(bǔ)充說(shuō)明

urlopen函數(shù)原型：urllib.request.urlopen(url, data=None, timeout=, *, cafile=None, capath=None, cadefault=False, context=None)

在上述案例中我們只使用了該函數(shù)中的第一個(gè)參數(shù)url。在日常開(kāi)發(fā)中，我們能用的只有url和data這兩個(gè)參數(shù)。

url參數(shù)：指定向哪個(gè)url發(fā)起請(qǐng)求

data參數(shù)：可以將post請(qǐng)求中攜帶的參數(shù)封裝成字典的形式傳遞給該參數(shù)(暫時(shí)不需要理解，后期會(huì)講)

urlopen函數(shù)返回的響應(yīng)對(duì)象，相關(guān)函數(shù)調(diào)用介紹：

response.headers()：獲取響應(yīng)頭信息

response.getcode()：獲取響應(yīng)狀態(tài)碼

response.geturl()：獲取請(qǐng)求的url

response.read()：獲取響應(yīng)中的數(shù)據(jù)值(字節(jié)類(lèi)型)

2.將爬取到百度新聞首頁(yè)的數(shù)據(jù)值寫(xiě)入文件進(jìn)行存儲(chǔ)

#!/usr/bin/env python#-*- coding:utf-8 -*-

importurllib.requestimporturllib.parseif __name__ == "__main__":

url= 'http://news.baidu.com/'reponse= urllib.request.urlopen(url=url)#decode()作用是將響應(yīng)中字節(jié)(byte)類(lèi)型的數(shù)據(jù)值轉(zhuǎn)成字符串類(lèi)型

data =reponse.read().decode()#使用IO操作將data表示的數(shù)據(jù)值以'w'權(quán)限的方式寫(xiě)入到news.html文件中

with open('./news.html','w') as fp:

fp.write(data)print('寫(xiě)入文件完畢')

3.爬取網(wǎng)絡(luò)上某張圖片數(shù)據(jù)，且存儲(chǔ)到本地

#!/usr/bin/env python#-*- coding:utf-8 -*-

importurllib.requestimporturllib.parse#如下兩行代碼表示忽略https證書(shū)，因?yàn)橄旅嬲?qǐng)求的url為https協(xié)議的請(qǐng)求，如果請(qǐng)求不是https則該兩行代碼可不用。

importssl

ssl._create_default_https_context=ssl._create_unverified_contextif __name__ == "__main__":#url是https協(xié)議的

url = 'https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1536918978042&di=172c5a4583ca1d17a1a49dba2914cfb9&imgtype=0&src=http%3A%2F%2Fimgsrc.baidu.com%2Fimgad%2Fpic%2Fitem%2F0dd7912397dda144f04b5d9cb9b7d0a20cf48659.jpg'reponse= urllib.request.urlopen(url=url)

data= reponse.read()#因?yàn)榕廊〉氖菆D片數(shù)據(jù)值(二進(jìn)制數(shù)據(jù))，則無(wú)需使用decode進(jìn)行類(lèi)型轉(zhuǎn)換。

with open('./money.jpg','wb') as fp:

fp.write(data)print('寫(xiě)入文件完畢')

4.url的特性：url必須為ASCII編碼的數(shù)據(jù)值。所以我們?cè)谂老x(chóng)代碼中編寫(xiě)url時(shí)，如果url中存在非ASCII編碼的數(shù)據(jù)值，則必須對(duì)其進(jìn)行ASCII編碼后，該url方可被使用。

案例：爬取使用百度根據(jù)指定詞條搜索到的頁(yè)面數(shù)據(jù)(例如爬取詞條為‘周杰倫’的頁(yè)面數(shù)據(jù))

#!/usr/bin/env python#-*- coding:utf-8 -*-

importurllib.requestimporturllib.parseif __name__ == "__main__":#原始url中存在非ASCII編碼的值，則該url無(wú)法被使用。

#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'

#處理url中存在的非ASCII數(shù)據(jù)值

url = 'http://www.baidu.com/s?'

#將帶有非ASCII的數(shù)據(jù)封裝到字典中，url中非ASCII的數(shù)據(jù)往往都是'?'后面鍵值形式的請(qǐng)求參數(shù)

param ={'ie':'utf-8','wd':'周杰倫'}#使用parse子模塊中的urlencode函數(shù)將封裝好的字典中存在的非ASCII的數(shù)值進(jìn)行ASCII編碼

param =urllib.parse.urlencode(param)#將編碼后的數(shù)據(jù)和url進(jìn)行整合拼接成一個(gè)完整可用的url

url = url +paramprint(url)

response= urllib.request.urlopen(url=url)

data=response.read()

with open('./周杰倫.html','wb') as fp:

fp.write(data)print('寫(xiě)入文件完畢')

5.通過(guò)自定義請(qǐng)求對(duì)象，用于偽裝爬蟲(chóng)程序請(qǐng)求的身份。

之前在講解http常用請(qǐng)求頭信息時(shí)，我們講解過(guò)User-Agent參數(shù)，簡(jiǎn)稱(chēng)為UA，該參數(shù)的作用是用于表明本次請(qǐng)求載體的身份標(biāo)識(shí)。如果我們通過(guò)瀏覽器發(fā)起的請(qǐng)求，則該請(qǐng)求的載體為當(dāng)前瀏覽器，則UA參數(shù)的值表明的是當(dāng)前瀏覽器的身份標(biāo)識(shí)表示的一串?dāng)?shù)據(jù)。如果我們使用爬蟲(chóng)程序發(fā)起的一個(gè)請(qǐng)求，則該請(qǐng)求的載體為爬蟲(chóng)程序，那么該請(qǐng)求的UA為爬蟲(chóng)程序的身份標(biāo)識(shí)表示的一串?dāng)?shù)據(jù)。有些網(wǎng)站會(huì)通過(guò)辨別請(qǐng)求的UA來(lái)判別該請(qǐng)求的載體是否為爬蟲(chóng)程序，如果為爬蟲(chóng)程序，則不會(huì)給該請(qǐng)求返回響應(yīng)，那么我們的爬蟲(chóng)程序則也無(wú)法通過(guò)請(qǐng)求爬取到該網(wǎng)站中的數(shù)據(jù)值，這也是反爬蟲(chóng)的一種初級(jí)技術(shù)手段。那么為了防止該問(wèn)題的出現(xiàn)，則我們可以給爬蟲(chóng)程序的UA進(jìn)行偽裝，偽裝成某款瀏覽器的身份標(biāo)識(shí)。

上述案例中，我們是通過(guò)request模塊中的urlopen發(fā)起的請(qǐng)求，該請(qǐng)求對(duì)象為urllib中內(nèi)置的默認(rèn)請(qǐng)求對(duì)象，我們無(wú)法對(duì)其進(jìn)行UA進(jìn)行更改操作。urllib還為我們提供了一種自定義請(qǐng)求對(duì)象的方式，我們可以通過(guò)自定義請(qǐng)求對(duì)象的方式，給該請(qǐng)求對(duì)象中的UA進(jìn)行偽裝(更改)操作。

#!/usr/bin/env python#-*- coding:utf-8 -*-

importurllib.requestimporturllib.parseimportssl

ssl._create_default_https_context=ssl._create_unverified_contextif __name__ == "__main__":#原始url中存在非ASCII編碼的值，則該url無(wú)法被使用。

#url = 'http://www.baidu.com/s?ie=utf-8&kw=周杰倫'

#處理url中存在的非ASCII數(shù)據(jù)值

url = 'http://www.baidu.com/s?'

#將帶有非ASCII的數(shù)據(jù)封裝到字典中，url中非ASCII的數(shù)據(jù)往往都是'?'后面鍵值形式的請(qǐng)求參數(shù)

param ={'ie':'utf-8','wd':'周杰倫'}#使用parse子模塊中的urlencode函數(shù)將封裝好的字典中存在的非ASCII的數(shù)值進(jìn)行ASCII編碼

param =urllib.parse.urlencode(param)#將編碼后的數(shù)據(jù)和url進(jìn)行整合拼接成一個(gè)完整可用的url

url = url +param#將瀏覽器的UA數(shù)據(jù)獲取，封裝到一個(gè)字典中。該UA值可以通過(guò)抓包工具或者瀏覽器自帶的開(kāi)發(fā)者工具中獲取某請(qǐng)求，從中獲取UA的值

headers={'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'}#自定義一個(gè)請(qǐng)求對(duì)象

#參數(shù)：url為請(qǐng)求的url。headers為UA的值。data為post請(qǐng)求的請(qǐng)求參數(shù)(后面講)

request = urllib.request.Request(url=url,headers=headers)#發(fā)送我們自定義的請(qǐng)求(該請(qǐng)求的UA已經(jīng)進(jìn)行了偽裝)

response =urllib.request.urlopen(request)

data=response.read()

with open('./周杰倫.html','wb') as fp:

fp.write(data)print('寫(xiě)入數(shù)據(jù)完畢')

總結(jié)

以上是生活随笔為你收集整理的爬虫python爬取页面请求_03 Python网络爬虫第三弹《爬取get请求的页面数据》,urllib...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。