python网络爬虫系列（一）——urllib库（urlopen、urlretrieve、urlencode、parse-qs、urlparse和urlsplit、request.Request类）
urllib庫
urllib庫是Python中一個最基本的網(wǎng)絡請求庫。可以模擬瀏覽器的行為，向指定的服務器發(fā)送一個請求，并可以保存服務器返回的數(shù)據(jù)。
一、urlopen函數(shù)：
在Python3的urllib庫中，所有和網(wǎng)絡請求相關(guān)的方法，都被集到urllib.request模塊下面了，以先來看下urlopen函數(shù)基本的使用：
from urllib import parse,requestresp=request.urlopen('http://www.baidu.com') print(resp.read())實際上，使用瀏覽器訪問百度，右鍵查看源代碼。你會發(fā)現(xiàn)，跟我們剛才打印出來的數(shù)據(jù)是一模一樣的。也就是說，上面的三行代碼就已經(jīng)幫我們把百度的首頁的全部代碼爬下來了。一個基本的ur請求對應的python代碼真的非常簡單。
以下對urlopen函數(shù)的進行詳細講解：
二、urlretrieve函數(shù)：
這個函數(shù)可以方便的將網(wǎng)頁上的一個文件保存到本地。以下代碼可以非常方便的將百度的首頁下載到本地：
request.urlretrieve（"http://www.baidu.com/"，"baidu.html"）三、urlencode函數(shù)：
用瀏覽器發(fā)送請求的時候，如果url中包含了中文或者其他特殊字符，那么瀏覽器會自動的給我們進行編碼。而如果使用代碼發(fā)送請求，那么就必須手動的進行編碼，這時候就應該使用urlencode函數(shù)來實現(xiàn)。urlencode 可以把字典數(shù)據(jù)轉(zhuǎn)換為URL編碼的數(shù)據(jù)。
示例代碼如下：
四、parse-qs函數(shù):
可以將經(jīng)過編碼后的url參數(shù)進行解碼.示例代碼如下:
from urllib import parse qs="name=%E7%88%AC%E8%99%AB%E5%9F%BA%E7%A1%80&greet=hel1o+world&age=100" print(parse.parse_qs(qs))五、urlparse和urlsplit:
有時候拿到一個url想要對這個url中的各個組成部分進行分割,那么這時候就可以使用urlparse 或者是urlsplit來進行分割。
urlparse VS urlsplit:
urlparse和urlsplit基本上是一模一樣的。唯一不一樣的地方是,'urlparse里面多了一個params屬性,而urlsplit 沒有這個params 屬性。
比如有一個ur1為:url=“http://www.baidu.com/s;he116wd=python&username=abc#1”,那么urlparse可以獲取到hello,而urlsplit不可以獲取到ur1中的params。不過params也用得比較少。
示例代碼如下:
from urllib import parse# urlparse()函數(shù)，可以對url中的各個組成部分進行分割 url = 'http://www.baid.com/s;hello?wd=python&username=abc#1' result = parse.urlparse(url) print(result) print('sheme:',result.scheme) print('netloc:',result.netloc) print('path:',result.path) print('params:',result.params) print('query:',result.query) print('fragment:',result.fragment) print("___________________________________________________")# urlsplit()函數(shù)，可以對url中的各個組成部分進行分割。 # 與urlparse（）函數(shù)的區(qū)別是獲取不到params參數(shù) url = 'http://www.baid.com/s;hello?wd=python&username=abc#1' result1 = parse.urlsplit(url) print(result1) print('sheme:',result1.scheme) print('netloc:',result1.netloc) print('path:',result1.path) print('query:',result1.query) print('fragment:',result1.fragment)六、request.Request類：
如果想要在請求的時候增加一些請求頭，那么就必須使用request.Request類來實現(xiàn)。比如要增加一個user-Agent，示例代碼如下：
JSON在線解析網(wǎng)站：http://json.cn/
自動獲取本地IP地址網(wǎng)站：http://httpbin.org/
七、代碼：
from urllib import request from urllib import parse# resp = request.urlopen('http://www.baidu.com') # print(resp.read()) # print(resp.read(10)) # print(resp.readline()) # print(resp.readlines()) # print(resp.getcode())# urlretrieve函數(shù)，可以將網(wǎng)頁上的一個文件保存到本地 # request.urlretrieve("https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1593927965278&di=8749753c6b8d8d142eb37ebac38fe7de&imgtype=0&src=http%3A%2F%2Fcyimg.quji.com%2Fnewsimg%2F2016%2F02%2F19%2F0449ff918e2484761f2dee7af1432108.jpg",'luban.jpg')# urlencode函數(shù)，可以把字典數(shù)據(jù)轉(zhuǎn)換成url編碼的數(shù)據(jù)# data = {'name':'爬蟲基礎','greet':'hello world','age':100} # qs = parse.urlencode(data) # print(qs)# 案例 # url = 'http://www.baidu.com/s?wd=劉德華' url = 'http://www.baidu.com/s' params = {"wd":"劉德華"} qs = parse.urlencode(params) print(qs) url = url + "?" + qs print(url) resp = request.urlopen(url) print(resp.read())# parse_qs函數(shù)，可以將經(jīng)過編碼后的url參數(shù)進行解碼 print(parse.parse_qs(qs))總結(jié)
以上是生活随笔為你收集整理的python网络爬虫系列（一）——urllib库（urlopen、urlretrieve、urlencode、parse-qs、urlparse和urlsplit、request.Request类）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： deepin tim(wine)无法安装
- 下一篇： python中split函数_pytho