1.Downloader Middlewares （下載中間鍵）：引擎會先把Requets對象交給下載中間鍵再然后交給Downloader

2.使用方法：

? ?(1) 編寫一個Downloader Middlewares 和我們編寫一個pipeline一樣，定義一個類，然后在settings中開啟

? ?(2) Downloader Middlewares默認的方法：

? ? ? ?process_request(self,request,spider):? 當每個request通過下載中間件時，該方法被調用。(處理請求)

? ? ? ?process_response(self,request,response,spider):當下載器完成http請求，傳遞響應給引擎的時候調用（處理響應）

?3. 可以在process_request()方法里面添加自定義的UA,給request的headers賦值即可

? ? 而且可以添加代理：? 需要在reques的meta信息中添加proxy字段

? ? ?request.meta["proxy"] = "協議代理IP和端口號"

? 4.middlewares.py里面進行編輯

'''導入隨機獲取瀏覽器的模塊''' import user_agent class RandomUserAgentMiddleware:def process_request(self, request, spider):、'''隨機獲取瀏覽器的標識'''ua = user_agent.generate_user_agent()'''設置瀏覽器的標識'''request.headers["User-Agent"] = uaclass CheckUserAgent:def process_response(self,request,response, spider):print(dir(response))print(request.headers['User-Agent'])return response

? 然后在settings里面進行開啟：

DOWNLOADER_MIDDLEWARES = {'Cookes_login.middlewares.RandomUserAgentMiddleware': 543,'Cookes_login.middlewares.CheckUserAgent': 544, }

5. 在 middlewares里還有? process_excetion(request,exception,spider)

? ?這個方法是專門幫助我們處理異常，類似代理ip不可用等的異常，我們可以對這個異常進行處理

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的Scrapy框架的学习(11.scrapy框架中的下载中间件的使用(DownloaderMiddlewares))的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。