@Author：Runsen

三十一、Scrapy爬取百度圖片

上文用了scrapy爬取了百度的美女圖片，今天寫寫scrapy中的Image Pipeline。

scrapy提供了很多中間組件可以讓我們更加自定義想要的效果，比如項目管道item pipeline，下載中間件downloader middleware，蜘蛛中間件spider middleware等。通過更改或者添加的方式我們可以實現很多的功能。這種中間組件就像鉤子一樣，在完成結果之前，修改部分內容來使結果不一樣。

先來說說scrapy中的Image Pipeline，Scrapy內置了圖片管道，可以幫助你輕松下載圖片到本地

文章目錄

• ImagesPipeline的操作
• ImagesPipeline邏輯
• 加入refer
• 總結
• 媒體管道的設置
• 具體代碼

ImagesPipeline的操作

scrapy提供了專門下載的PIpeline，包含文件下載和圖片下載。

在pipelines.py 導入ImagesPipeline

from scrapy.

總結

以上是生活随笔為你收集整理的三十三、Scrapy中的强大媒体管道ImagesPipeline的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。