urllib庫python內置的HTTP請求庫

四個模塊:request,parse,error,rebotparser

一。request模塊

請求對象組成：url，參數，請求頭，請求體四部分。response = urllib.request.urlopen(url,data=None,timeout,..)

response = urllib.request.urlopen(Request對象)

Request對象urllib.request.Request(url,data,headers,method)

data是作為請求體進行傳遞的data = bytes(utllib.parse.urlencode(map),'utf-8')

headers的一些屬性：User-Agent : 有些服務器或 Proxy 會通過該值來判斷是否是瀏覽器發出的請求

Referer：有的服務器會識別headers中的referer是不是自己

Content-Type : 在使用 REST 接口時，服務器會檢查該值，用來確定 HTTP Body 中的內容該怎樣解析。

application/xml ： 在 XML RPC，如 RESTful/SOAP 調用時使用

application/json ： 在 JSON RPC 調用時使用

application/x-www-form-urlencoded ： 瀏覽器提交 Web 表單時使用在使用服務器提供的 RESTful 或 SOAP 服務時， Content-Type 設置錯誤會導致服務器拒絕服務

例如headers={

'User-Agent':'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)',

'Referer':'http://www.zhihu.com/articles'

}

response對象

響應對象組成：狀態碼，響應頭，響應主體

狀態碼，響應頭，響應主體response.status

response.getheaders() ? ?/ ? response.getheaders("server")

response.read().decode('utf-8') ? ?# 如果不加decode，則返回的是bytes類型的流

二。parse模塊(URL解析和URL引用)

1.URL解析：urlparse將url解析成各個組件和urlunparse將組件拼裝成url

urlparseurllib.parse.urlparse(urlstring,scheme='',allow_fragments=True)

# scheme指定協議類型，如果url中已經存在，則scheme不起作用

＃allow_fragments為false時，fragment將為空，＃后的內容將前移至path中，如果path之后的參數全為空

＃URL組成

URL:scheme://netloc/path;parameters?query#fragment

urljoin

將前后兩個url進行拼接，每個url分成６個部分，后面那個參數會被分割后會填充前面那個參數中分割后不存在的那個部分，雙方都有的話，將以前者為準urljoin('http://www.cwi.nl/%7Eguido/Python.html','FAQ.html')

>>>'http://www.cwi.nl/%7Eguido/FAQ.html'

urlencode

將字典轉為query的形式from urllib.parse import urlencode

params = {

'name' :'tim',

'age' :23

}

print(urlencode(params))

>>> name='tim'&age=23

urlunparse

將url的６個部分拼接成urldata = {'','',...}

三。error模塊

由request產生。主要存在兩個類：URLError，HTTPError(繼承URLError)

URLError屬性：reason

HTTPError屬性：code，reason，headers

四。rebotparser模塊

用來解析robots.txt文件，不常用。

五。高級用法

1. Opener

當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。

如果我們需要用到Cookie或者Proxy，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie和Proxy的設置。

2. proxy代理import urllib.request

proxy_handler = ProxyHandler({'http':'http://127.0.0.1:9999',...})

opener = build_opener(proxy_handler)

response = opener.open('http://..')

3. Cookielib

主要用來提供可存儲的cookie對象?？梢岳帽灸K的CookieJar類的對象來捕獲cookie并在后續連接請求時重新發送?？梢酝ㄟ^F12->Application->Cookies中查看

CookieJar —-派生—->FileCookieJar? —-派生—–>MozillaCookieJar和LWPCookieJarimport http.cookiejar

#聲明一個CookieJar對象實例來保存cookie

cookie = http.cookiejar,CookieJar()

#利用urllib庫request模塊的HTTPCookieProcessor對象來創建cookie處理器

handler=urllib.request.HTTPCookieProcessor(cookie)

#通過handler來構建opener

opener=urllib.request.build_opener(handler)

#此處的open方法同urllib2的urlopen方法，也可以傳入request

response=opener.open('http://www.baidu.com')

for item in cookie:

print'Name = '+item.name

print'Value = '+item.value

使用MozillaCookieJar和LWPCookieJar可以將cookie保存到文件中，使用save來存儲，使用load來加載。#設置保存cookie的文件，同級目錄下的cookie.txt

filename='cookie.txt'

#聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件

cookie=http.cookiejar.MozillaCookieJar(filename)

#利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器

handler=urllib2.request.HTTPCookieProcessor(cookie)

#通過handler來構建opener

opener=urllib.request.build_opener(handler)

#創建一個請求，原理同urllib2的urlopen

response=opener.open("http://www.baidu.com")

#保存cookie到文件

cookie.save(ignore_discard=True,ignore_expires=True)

使用load來加載cookie文件到cookiecookie = http.cookiejar.MozillaCookieJar()

cookie.load(filename,ignore_discard=True,ignore_expires=True)

handler=urllib2.request.HTTPCookieProcessor(cookie)

#通過handler來構建opener

opener=urllib.request.build_opener(handler)

#創建一個請求，原理同urllib2的urlopen

response=opener.open("http://www.baidu.com")

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的python3urllib常见使用_Python3 urllib常用操作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。