在爬取boss直聘時出現這種錯誤，于是搜索了網上很多文章，總結如下：

1.http連接太多沒有關閉導致的，解決方法：

import requests requests.adapters.DEFAULT_RETRIES = 5 # 增加重連次數 s = requests.session() s.keep_alive = False # 關閉多余連接 s.get(url) # 你需要的網址

2.訪問次數頻繁，被禁止訪問，解決方法：使用代理

import requests s = requests.session() url = "https://mail.163.com/" s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", } s.headers = header s.get(url)

查找代理的網址：http://ip.zdaye.com/shanghai_ip.html#Free
使用代理時需注意：

代理分為http和https兩種，不能用混，如果把http的代理用作https也是會報上面的錯誤;

上面的代理以字典格式傳入，例如上面的例子，可以是“47.100.104.247:8080”這種格式，也可以是“https://47.100.104.247:8080”這種格式；

如果代理不可用一樣會報上面的錯誤。

以下方法判斷代理是否可用：

import requests s = requests.session() url = "https://mail.163.com/" s.keep_alive = False s.proxies = {"https": "47.100.104.247:8080", "http": "36.248.10.47:8080", } s.headers = header r = s.get(url) print r.status_code # 如果代理可用則正常訪問，不可用報以上錯誤

?

總結

以上是生活随笔為你收集整理的Max retries exceeded with url的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。