在《開源python網絡爬蟲框架Scrapy介紹》一文中介紹了Scrapy這個Python爬蟲框架。Scrapy是一個快速,高層次的屏幕抓取和web抓取框架，用于抓取web站點并從頁面中提取結構化的數據。Scrapy用途廣泛，可以用于數據挖掘、監測和自動化測試。Scrapy吸引人的地方在于它是一個框架，任何人都可以根據需求方便的修改。它也提供了多種類型爬蟲的基類，如BaseSpider、sitemap爬蟲等，最新版本又提供了web2.0爬蟲的支持。

下面介紹Scrapy在windows下的安裝:

首先下載windows版：Scrapy-0.15.0.2842.win32.exe，直接安裝。

安裝之后不能直接運行scrapy提供的test，會提示錯誤，因為scrapy基于其他一些python庫，需要把這些庫都安裝才行。

Twisted：Twisted Matrix 是一種用來進行網絡服務和應用程序編程的純 Python 框架，雖然 Twisted Matrix 中有大量松散耦合的模塊化組件，但該框架的中心概念還是非阻塞異步服務器這一思想。Twisted的安裝也非常簡單，在這里直接下載windows平臺下的相應版本即可：http://pypi.python.org/packages/2.7/T/Twisted/，

zope.interface：在這里下載http://pypi.python.org/pypi/zope.interface/3.8.0#downloads。zope.interface沒有提供windows平臺下的exe版，只提供了windows平臺下的egg包。

ez_setup：下載http://pypi.python.org/pypi/ez_setup，安裝。將egg文件放置在{python安裝目錄}\Scripts目錄下。

打開CMD并切換至scripts目錄，easy_install zope.interface-3.8.0-py2.6-win32.egg安裝。

w3lib：zope.interface問題解決之后還會提示缺少w3lib，下載http://pypi.python.org/pypi/w3lib后安裝即可

libxml2：使用scrapy的html解析功能時，會提示你缺少libxml2，所以我們先把這個也裝上，地址http://xmlsoft.org/sources/win32/python/，下載相應的版本即可。

至此就可以使用Scrapy玩spider了，大家可以根據文檔寫一個簡單的爬蟲試試，實際上使用scrapy做一個簡易的爬蟲甚至只需要幾行代碼就可以了，以后有空再詳細說說使用方法，本文不做更多描述。

所謂網絡爬蟲，就是一個在網上到處或定向抓取數據的程序，當然，這種說法不夠專業，更專業的描述就是，抓取特定網站網頁的HTML數據。不過由于一個網站的網頁很多，而我們又不可能事先知道所有網頁的URL地址，所以，如何保證我們抓取到了網站的所有HTML頁面就是一個有待考究的問題了。

一般的方法是，定義一個入口頁面，然后一般一個頁面會有其他頁面的URL，于是從當前頁面獲取到這些URL加入到爬蟲的抓取隊列中，然后進入到新新頁面后再遞歸的進行上述的操作，其實說來就跟深度遍歷或廣度遍歷一樣。

上面介紹的只是爬蟲的一些概念而非搜索引擎，實際上搜索引擎的話其系統是相當復雜的，爬蟲只是搜索引擎的一個子系統而已。下面介紹一個開源的爬蟲框架Scrapy。

Scrapy是一個用 Python 寫的 Crawler Framework ，簡單輕巧，并且非常方便，并且官網上說已經在實際生產中在使用了，不過現在還沒有 Release 版本，可以直接使用他們的 Mercurial 倉庫里抓取源碼進行安裝。

Scrapy 使用 Twisted 這個異步網絡庫來處理網絡通訊，架構清晰，并且包含了各種中間件接口，可以靈活的完成各種需求。整體架構如下圖所示：

綠線是數據流向，首先從初始 URL 開始，Scheduler 會將其交給 Downloader 進行下載，下載之后會交給 Spider 進行分析，Spider 分析出來的結果有兩種：一種是需要進一步抓取的鏈接，例如之前分析的“下一頁”的鏈接，這些東西會被傳回 Scheduler ；另一種是需要保存的數據，它們則被送到 Item Pipeline 那里，那是對數據進行后期處理（詳細分析、過濾、存儲等）的地方。另外，在數據流動的通道里還可以安裝各種中間件，進行必要的處理。

總結

以上是生活随笔為你收集整理的scapy安装and简介的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。