Hello，我是 Alex 007，為啥是007呢？因為叫 Alex 的人太多了，再加上每天007的生活，Alex 007就誕生了。

最近在學爬蟲的 scrapy 框架，以前雖然拿 GoLang 玩過爬蟲，可惜沒有太深入，這次拿 Python 好好學一學。
學習爬蟲過程中的代碼都放在了GitHub上：https://github.com/koking0/Spider
小生才疏學淺，如有謬誤，恭請指正。

寫完上邊那篇這年頭學爬蟲還就得會點 scrapy 框架花了我一天半時間，一萬多字，再寫就太多了，看完也挺累的，但還有好多東西沒講，因此又開了一篇。

文章目錄

• 一、五大核心組件
• 二、中間件
• • Downloader Middlewares
  • • 代理池

還不知道 Scrapy 框架是啥的同學，可以先看一下《

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的关于 scrapy 框架必须掌握的核心知识的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。