前言

使用腳本進行下載的需求很常見，可以是常規文件、web頁面、Amazon S3和其他資源。Python 提供了很多模塊從 web 下載文件。下面介紹

一、使用 requests

requests 模塊是模仿網頁請求的形式從一個URL下載文件

示例代碼：

import requestsurl = 'xxxxxxxx' # 目標下載鏈接 r = requests.get(url) # 發送請求 # 保存 with open ('r.txt', 'rb') as f:f.write(r.content)f.close

二、使用 wget

安裝 wget 庫

pip install wget

示例代碼

import wgeturl = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目標路由，下載的資源是圖片 path = 'D:/x.png' # 保存的路徑 wget.download(url, path) # 下載

三、下載重定向資源

有些 URL 會被重定向到另一個 URL，后者是真正的下載鏈接。很多軟件的下載其實都是這樣的形式。URL看起來如下

https://readthedocs.org/projects/python-guide/downloads/pdf/latest

重定向的 URL 也可以用 requests 庫進行下載，只需加一個參數就可以

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：531509025 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' import requestsurl = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'# allow_redirect參數True表示允許重定向 r = requests.get(url, allow_redirect=True) with open('r.txt', 'wb') as f:f.write(r)f.close()

四、大文件分塊下載

有些文件非常的大，如果我們直接下載，可能會因為事件原因或者網絡原因造成下載失敗，這時候我可以使用分塊下載的形式進行下載。

requests 支持分塊下載，只需要將 stream 設為True 即可

import requestsurl = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'# stream參數True表示分塊下載 r = requests.get(url, stream=True) with open('r.txt', 'wb') as f:for ch in r:f.write(r)f.close()

五、并行下載

多線程、多進程并發下載，大大提高下載速度

import requests from multiprocessing.poll import Pool# 定義下載函數 def url_response(url):path, url = urlr = requests.get(url, stream=True)with open(path, 'wb') as f:for ch in r:f.write(ch)f.close()urls = ['aaa', 'bbb', 'ccc'] # 假設有好多個下載鏈接# 排隊下載的方式 for x in urls:url_response(x)# 并行下載的方式 ThreadPool(3).imap_unordered(url_response, urls)

六、下載中加入進度條

使用進度條更直觀的查看下載進度，這里使用 clint 模塊實現進度條功能

pip install clint

下載

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：531509025 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' import requests from clint.textui import progessurl = 'xxxxxxxxxxx' r = requests.get(url, stream=True) with open('x.txt', 'wb') as ftotal_length = int(r.headers.get('content-length'))for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):if ch:f.write(ch)f.close()

七、使用 urllib 模塊下載

urllib庫是Python的標準庫，因此不需要安裝它。

下載代碼

urllib.request.urlretrieve(URL, PATH)

八、通過代理下載

因為一些眾所周知的原因我們下載國外的資源會非常的慢，這時候可以使用代理的方式進行下載

requests 模塊使用代理

''' 遇到問題沒人解答？小編創建了一個Python學習交流QQ群：531509025 尋找有志同道合的小伙伴，互幫互助,群里還有不錯的視頻學習教程和PDF電子書！ ''' import requests# 定義代理，假設本機上有個梯子的服務，代理端口是2258 proxy = {'http': 'http://127.0.0.1:2258'} url = 'xxxxxx' r = requests.get(url, proxies=proxy ) .......

urllib 模塊使用代理

import urllib.requesturl = 'xxxxxxxxxx' proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'}) open_proxy = urllib.request.build_opener(proxy ) # 打開代理 urllib.request.urlretrieve(url)

九、使用 urllib3

urllib3 是 urllib 模塊的改進版本。使用pip下載并安裝

pip install urllib3

總結

以上是生活随笔為你收集整理的Python 下载的九种方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。