本篇是 python 爬蟲的第三篇，在前面兩篇 Python 爬蟲第一篇（urllib+regex） 和 Python 爬蟲第二篇（urllib+BeautifulSoup） 中介紹了如何獲取給定網址的網頁信息，并解析其中的內容。本篇將更進一步，根據給定網址獲取并解析給定網址及其相關聯網址中的內容。要實現這些功能，我們需要解決以下問題：

1. 如何持續不斷的獲取 url，并讀取相關內容。

2. 如何判斷網址是否已經讀取過。

文中用到的代碼均已上傳到 github，在這里就不再貼出完整的代碼了。

如何持續不斷的獲取網址，并讀取相關內容？

要想讀取網頁內容，首先要獲取網頁的 url，但是我們又不能將所有的 url 都輸入到程序中，此時就需要我們從已知的 url 中解析出其他的 url，從而不間斷的獲取新的 url讀取新的內容，獲取新的 url 可以通過解析含有 href 屬性的 a 標簽來實現，具體代碼如下：for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')):

if len(self.__url_set) > self.__max_url_count:

return

url = link.get('href')

以上代碼解析出所有的 a 標簽中的 href 屬性內容以 https://list.szlcsc 和 https://item.szlcsc為開頭的 url 連接。在這里還是設置了一個最大的 url 解析量「由于在測試中需要一個停止條件」，默認值為1000。

從一個 url 中獲取到更多的 url 后，我們該怎么去讀取？以什么順序去讀取？不可能獲取一個 url 就讀取一個 url，此時就需要一個保存 url 的地方「最好是可以順序保存順序取出的」，那么最好的方法就是使用隊列了，以下是將 url 放入隊列的代碼：for link in html.find_all(name='a', href=re.compile(r'https?://list|item.szlcsc.+')):

if len(self.__url_set) > self.__max_url_count:

return

url = link.get('href')

if url not in self.__url_set:

self.__url_set.add(url)

self.__url_queue.put(url)

以下是從隊列中取出 url 的代碼：while not self.__url_queue.empty():

count = count + 1

url = self.__url_queue.get()

result = self.get_html(url)

以上兩段代碼完成了一個 url 從存入隊列到從隊列中出的全過程。

如何判斷網址是否已經讀取過？

這個問題實際上就是 url 去重的問題，常用的 url 去重的方法主要有以下幾種：

1. url 保存在數據庫中（效率較低）

2. 將 url 保存到集合中，利用集合的無重復元素的特性來去重，缺點是占用空間大。

3. 將 url 通過 md5 等哈希算法后保存在集合中，與第 2 項相比可以大幅度提高空間利用率。

4. 使用布隆過濾器「Bloom Filter」，在時間和空間方面有巨大的優勢，但是存在一定的誤算率，不適用于高準確度的場合。

本篇我們使用集合來對 url 進行去重，其他方法大家可以自行搜索一下，網上有很多這方面的資料。

集合中的元素無次序，且不可重復。元素不可重復的特性用來對 url 去重在合適不過了，通過判斷 url 是否已經在集合中可以快速判斷該 url 是否已經讀取過。具體看以下代碼：if url not in self.__url_set:

self.__url_set.add(url)

self.__url_queue.put(url)

以上代碼首先判斷 url 是否存在于 _urlset 中，如果不存在則將該 url 添加到 _urlset 中，同時將次 url 放入讀取隊列中進行讀取。這樣既對得到的每個 url 進行讀取，又避免了多次讀取同一個 url 造成資源的浪費。

總結

以上是生活随笔為你收集整理的python网页爬虫循环获取_Python 爬虫第三篇（循环爬取多个网页）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。