Scrapy 工程項目詳細分析

Scrapy 新創建工程項目需通過命令行操作。在特定文件夾名稱中，開啟終端實行以下命令：

scrapy startproject 項目的名字

我新建一個名為 scrapy_demo，執行結果如下。

使用 Pycharm 開啟該新項目，讓我們會發覺新項目的層次構架及其文檔。

這種文檔的功能是：

scrapy.cfg：工程項目的配置文件，開發設計不用采用。

scrapy_demo：項目中會有兩個同名的文件夾名稱。最表層表示 project，里面那個目錄代表 module(項目的核心)。

scrapy_demo/items.py：以字段形式界定中后期必須處理的網絡數據。

scrapy_demo/pipelines.py：提取出來的 Item 對象回到的數據并進行存儲。

scrapy_demo/settings.py：項目的設置文檔。可以對網絡爬蟲進行自定設定，例如挑選深度優先爬取還是廣度優先爬取，設置對每個IP的爬蟲數，設置每個域名的爬蟲數，設置爬蟲延時，設置代理等等。

scrapy_demo/spider： 這個目錄儲放網頁爬蟲源代碼。

init.py：python 包要求，對 scrapy 作用不大。

Scrapy 的架構

Scrapy 好比由許多組件拼裝起來的大機器。因此，可以采取從整體到局部的順序學習 Scrapy。

Scheduler：調度器。負責接受 Engine 發送過來的 Requests 請求，并將其隊列化;

Item Pipeline：Item Pipeline負責處理被spider提取出來的item。其有典型應用，如清理 HTML 數據、驗證爬取的數據(檢查 item 包含某些字段)、查重(并丟棄)、爬取數據持久化(存入數據庫、寫入文件等);

Scrapy Engine：引擎是 Scrapy 的中樞。它負責控制數據流在系統中所有組件中流動，并在相應動作發生時觸發事件;

Downloader Middlewares：下載中間件是 Engine 和 Downloader 的樞紐。負責處理 Downloader 傳遞給 Engine 的 responses;它還支持自定義擴展。

Downloader：負責下載 Engine 發送的所有 Requests 請求，并將其獲取到的 responses 回傳給 Scrapy Engine;

Spider middlewares：Spider 中間件是 Engine 和 Spider 的連接橋梁;它支持自定義擴展來處理 Spider 的輸入(responses) 以及輸出 item 和 requests 給 Engine ;

Spiders：負責解析 Responses 并提取 Item 字段需要的數據，再將需要跟進的URL提交給引擎，再次進入Scheduler(調度器);

Scrapy 工作機制

當引擎(Engine) 收到 Spider 發送過來的 url 主入口地址(其實是一個 Request 對象, 因為 Scrapy 內部是用到 Requests 請求庫)，Engine 會進行初始化操作。

Engine 請求調度器(Scheduler)，讓 Scheduler 調度出下一個 url 給 Engine。

Scheduler 返回下一個 url 給 Engine。

Engine 將 url通過下載中間件(請求(request)方向)轉發給下載器(Downloader)。

一旦頁面下載完畢，Downloader 生成一個該頁面的Response，并將其通過下載中間件(返回(response)方向)發送給 Engine

引擎將從下載器中接收到 Response 發送給Spider處理。

Spider 處理 Response 并返回爬取到的 Item 及新的 Request 給引擎。

Engine 將 Spider 返回的爬取到的 Item 轉發給Item Pipeline，順便也將將 Request 給調度器。

重復(第2步)直到調度器中沒有更多地request，引擎關閉該網站。