前言：寫這篇文章之前，主要是我看了幾篇類似的爬蟲寫法，有的是用的隊列來寫，感覺不是很直觀，還有的只有一個請求然后進(jìn)行頁面解析，根本就沒有自動爬起來這也叫爬蟲？因此我結(jié)合自己的思路寫了一下簡單的爬蟲，測試用例就是自動抓取我的博客網(wǎng)站(http://www.zifangsky.cn)的所有鏈接。

一 算法簡介

程序在思路上采用了廣度優(yōu)先算法，對未遍歷過的鏈接逐次發(fā)起GET請求，然后對返回來的頁面用正則表達(dá)式進(jìn)行解析，取出其中未被發(fā)現(xiàn)的新鏈接，加入集合中，待下一次循環(huán)時遍歷。

具體實現(xiàn)上使用了Map，鍵值對分別是鏈接和是否被遍歷標(biāo)志。程序中使用了兩個Map集合，分別是：oldMap和newMap，初始的鏈接在oldMap中，然后對oldMap里面的標(biāo)志為false的鏈接發(fā)起請求，解析頁面，用正則取出標(biāo)簽下的鏈接，如果這個鏈接未在oldMap和newMap中，則說明這是一條新的鏈接，同時要是這條鏈接是我們需要獲取的目標(biāo)網(wǎng)站的鏈接的話，我們就將這條鏈接放入newMap中，一直解析下去，等這個頁面解析完成，把oldMap中當(dāng)前頁面的那條鏈接的值設(shè)為true，表示已經(jīng)遍歷過了。最后是當(dāng)整個oldMap未遍歷過的鏈接都遍歷結(jié)束后，如果發(fā)現(xiàn)newMap不為空，則說明這一次循環(huán)有新的鏈接產(chǎn)生，因此將這些新的鏈接加入oldMap中，繼續(xù)遞歸遍歷，反之則說明這次循環(huán)沒有產(chǎn)生新的鏈接，繼續(xù)循環(huán)下去已經(jīng)不能產(chǎn)生新鏈接了，因為任務(wù)結(jié)束，返回鏈接集合oldMap

二 程序?qū)崿F(xiàn)

上面相關(guān)思路已經(jīng)說得很清楚了，并且代碼中關(guān)鍵地方有注釋，因此這里就不多說了，代碼如下：

三 最后的測試效果

PS：其實用遞歸這種方式不是太好，因為要是網(wǎng)站頁面比較多的話，程序運行時間長了對內(nèi)存的消耗會非常大，不過因為我的博客網(wǎng)站頁面不是很多，因此效果還可以。

==============僅供參考============

總結(jié)

以上是生活随笔為你收集整理的java爬虫怎么确定url连接_Java爬虫之抓取一个网站上的全部链接的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。