Cookie，指某些網站為了辨別用戶身份、進行session跟蹤而儲存在用戶本地終端上的數據（通常經過加密）

比如說有些網站需要登錄后才能訪問某個頁面，在登錄之前，你想抓取某個頁面內容是不允許的。那么我們可以利用Urllib2庫保存我們登錄的Cookie，然后再抓取其他頁面就達到目的了。

1.Opener

　　當你獲取一個URL你使用一個opener(一個urllib2.OpenerDirector的實例)。在前面，我們都是使用的默認的opener，也就是urlopen。它是一個特殊的opener，可以理解成opener的一個特殊實例，傳入的參數僅僅是url，data，timeout。

　　如果我們需要用到Cookie，只用這個opener是不能達到目的的，所以我們需要創建更一般的opener來實現對Cookie的設置。

2.Cookielib

　　cookielib模塊的主要作用是提供可存儲cookie的對象，以便于與urllib2模塊配合使用來訪問Internet資源。Cookielib模塊非常強大，我們可以利用本模塊的CookieJar類的對象來捕獲cookie并在后續連接請求時重新發送，比如可以實現模擬登錄功能。該模塊主要的對象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。

　　它們的關系：CookieJar —-派生—->FileCookieJar ?—-派生—–>MozillaCookieJar和LWPCookieJar

1）獲取Cookie保存到變量

　　首先，我們先利用CookieJar對象實現獲取cookie的功能，存儲到變量中，先來感受一下

#-*- coding: UTF-8 -*- import urllib2 import cookielib #聲明一個CookieJar對象實例來保存cookie cookie = cookielib.CookieJar() #利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器 handler=urllib2.HTTPCookieProcessor(cookie) #通過handler來構建opener opener = urllib2.build_opener(handler) #此處的open方法同urllib2的urlopen方法，也可以傳入request response = opener.open('http://www.baidu.com') for item in cookie:print 'Name = '+item.nameprint 'Value = '+item.value

　　我們使用以上方法將cookie保存到變量中，然后打印出了cookie中的值，運行結果如下

Name = BIDUPSID Value = C364562090A29F04F270296E09787130 Name = H_PS_PSSID Value = 1429_21085_25177_25083 Name = PSTM Value = 1511943728 Name = BDSVRTM Value = 0 Name = BD_HOME Value = 0

2）保存Cookie到文件

　　在上面的方法中，我們將cookie保存到了cookie這個變量中，如果我們想將cookie保存到文件中該怎么做呢？這時，我們就要用到FileCookieJar這個對象了，在這里我們使用它的子類MozillaCookieJar來實現Cookie的保存

#-*- coding: UTF-8 -*- import cookielib import urllib2# 設置保存cookie的文件，同級目錄下的cookie.txt filename = 'cookie.txt' # 聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) # 利用urllib2庫的HTTPCookieProcessor對象來創建cookie處理器 handler = urllib2.HTTPCookieProcessor(cookie) # 通過handler來構建opener opener = urllib2.build_opener(handler) # 創建一個請求，原理同urllib2的urlopen response = opener.open("http://www.baidu.com") # 保存cookie到文件 cookie.save(ignore_discard=True, ignore_expires=True)

　　關于最后save方法的兩個參數在此說明一下：

　　ignore_discard的意思是即使cookies將被丟棄也將它保存下來，ignore_expires的意思是如果在該文件中cookies已經存在，則覆蓋原文件寫入，在這里，我們將這兩個全部設置為True。運行之后，cookies將被保存到cookie.txt文件中

3）從文件中獲取Cookie并訪問

　　那么我們已經做到把Cookie保存到文件中了，如果以后想使用，可以利用下面的方法來讀取cookie并訪問網站，感受一下

#-*- coding: UTF-8 -*- import cookielib import urllib2 import sys# 設置編碼 reload(sys) sys.setdefaultencoding('utf-8') # 獲得系統編碼格式 type = sys.getfilesystemencoding() # 創建MozillaCookieJar實例對象 cookie = cookielib.MozillaCookieJar() # 從文件中讀取cookie內容到變量 cookie.load('cookie.txt', ignore_discard=True, ignore_expires=True) # 創建請求的request req = urllib2.Request("http://www.baidu.com") # 利用urllib2的build_opener方法創建一個opener opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) response = opener.open(req) a = response.read().decode('utf-8').encode(type) print a

　　如果我們的 cookie.txt 文件中保存的是某個人登錄百度的cookie，那么我們提取出這個cookie文件內容，就可以用以上方法模擬這個人的賬號登錄百度

?4）利用cookie模擬網站登錄

　　利用cookie實現模擬登錄，并將cookie信息保存到文本文件中

# -*- coding: utf-8 -*- import urllib import urllib2 import cookielib import sys# 設置編碼 reload(sys) sys.setdefaultencoding('utf-8') # 獲得系統編碼格式 type = sys.getfilesystemencoding() filename = 'cookie.txt' # 聲明一個MozillaCookieJar對象實例來保存cookie，之后寫入文件 cookie = cookielib.MozillaCookieJar(filename) opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie)) postdata = urllib.urlencode({'username': '201711200004','password': 'liuliu159' }) # 登錄教務系統的URL loginUrl = 'http://ids.znufe.edu.cn/authserver/login?service=http%3A%2F%2Fyjs.znufe.edu.cn%2Fssfw%2Flogin_cas.jsp' # 模擬登錄，并把cookie保存到變量 result = opener.open(loginUrl, postdata) # 保存cookie到cookie.txt中 cookie.save(ignore_discard=True, ignore_expires=True) # 利用cookie請求訪問另一個網址，此網址是成績查詢網址 gradeUrl = 'http://yjs.znufe.edu.cn/ssfw/index.do#' # 請求訪問成績查詢網址 result = opener.open(gradeUrl) a = result.read().decode('utf-8').encode(type) print a

　　創建一個帶有cookie的opener，在訪問登錄的URL時，將登錄后的cookie保存下來，然后利用這個cookie來訪問其他網址。

　　如登錄之后才能查看的成績查詢，本學期課表等等網址，模擬登錄就這么實現

?

轉載于:https://www.cnblogs.com/lzhc/p/7922310.html

總結

以上是生活随笔為你收集整理的python爬虫（4）--Cookie的使用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。