前面介紹了Scrapy如何實現一個最簡單的爬蟲，但是這個Demo里只是對一個頁面進行了抓取。在實際應用中，爬蟲一個重要功能是”發現新頁面”，然后遞歸的讓爬取操作進行下去。

發現新頁面的方法很簡單，我們首先定義一個爬蟲的入口URL地址，比如《Scrapy入門教程》中的start_urls，爬蟲首先將這個頁面的內容抓取之后，解析其內容，將所有的鏈接地址提取出來。這個提取的過程是很簡單的，通過一個html解析庫，將這樣的節點內容提取出來，href參數的值就是一個新頁面的URL。獲取這個URL值之后，將其加入到任務隊列中，爬蟲不斷的從隊列中取URL即可。這樣，只需要為爬蟲定義一個入口的URL，那么爬蟲就能夠自動的爬取到指定網站的絕大多數頁面。

當然，在具體的實現中，我們還需要對提取的URL做進一步處理:

1. 判斷URL指向網站的域名，如果指向的是外部網站，那么可以將其丟棄
2. URL去重，可以將所有爬取過的URL存入數據庫中，然后查詢新提取的URL在數據庫中是否存在，如果存在的話，當然就無需再去爬取了。

下面介紹一下如何在Scrapy中完成上述這樣的功能。

我們只需要改寫spider的那個py文件即可，修改parse()方法代碼如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

from scrapy.selector import HtmlXPathSelectordef parse(self, response):hxs = HtmlXPathSelector(response)items = []newurls = hxs.select('//a/@href').extract()validurls = []for url in newurls:#判斷URL是否合法if true: validurls.append(url)items.extend([self.make_requests_from_url(url).replace(callback=self.parse) for url in validurls])sites = hxs.select('//ul/li')items = []for site in sites:item = DmozItem()item['title'] = site.select('a/text()').extract()item['link'] = site.select('a/@href').extract()item['desc'] = site.select('text()').extract()items.append(item)return items

原創文章,轉載請注明：轉載自CodeLogic[http://www.icodelogic.com]
本文鏈接地址:?http://www.icodelogic.com/?p=459

tags:?Python、Scrapy、爬蟲

總結

以上是生活随笔為你收集整理的scapy递归爬的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。