爬蟲分為兩種：

1.通用爬蟲。

2.聚焦爬蟲。

通用爬蟲：搜索引擎用的爬蟲系統。

一.目標：爬取所有網站的網頁下載下來，存放到本地服務器里形成備份。

二.抓取流程：

a.首選選取一部分已有的url,把這些url放到待爬取隊列。

b.從隊列里取出這些URL，然后解析DNS得到主機IP，然后去找個IP對應的服務器里下載HTML頁面，保存到搜索引擎的服務器里。

之后把這個爬過的URL放入已爬過的隊列。

c.分析這些網頁內容，找出網頁里其他的url連接，繼續執行第二部，直到爬蟲任務結束。

三.搜索引擎如何獲取一個新網站的URL

1.主動提交

2.在其他網站里設置網站的外鏈

3.搜索引擎和DNS服務器合作，可以快速收錄網站。

四，通用爬蟲并不是萬物皆可爬，需要遵守規則。

Robots協議：協議會指明通用爬蟲可以爬取的網頁權限。

Robots.txt 并不是所有爬蟲的遵守，一般只有大型的搜索引擎爬蟲才會遵守。

個人自己寫的爬蟲就不管了！

五：工作流程：爬取網頁--存儲數據--內容處理--提供檢索/排名服務

六搜索引擎排名：

1.PageRank值：根據網站的流量(點擊量/瀏覽量/人氣)統計流量越高，排名越高，越值錢。

2.競價排名：誰給錢多，誰排名高。

七缺點：

1.只能提供文本相關的內容(HTML,WORD,PDF)等等，不能提供多媒體(音樂，圖片，視頻)和二進制文件(程序，腳本...)

2.提供的結果千篇一律，不能針對不同背景不同領域的結果。

3.不能理解人類語義上的檢索。

聚焦爬蟲：程序員寫的針對某種內容的爬蟲。

面向主題爬蟲，面向需要爬蟲：會針對某種特定的內容爬取信息，盡可能和需求相關。

總結

以上是生活随笔為你收集整理的matlab 爬虫 例子,认识爬虫(示例代码)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。