1、爬蟲是什么

? ? ? ? 網(wǎng)絡(luò)爬蟲本質(zhì)上就是一個(gè)程序 或者 腳本, 網(wǎng)絡(luò)爬蟲按照一定規(guī)則獲取互聯(lián)網(wǎng)中信息(數(shù)據(jù)), 一般來說爬蟲被分為三大模塊: 獲取數(shù)據(jù) 解析數(shù)據(jù) 保存數(shù)據(jù)?

2、爬蟲的價(jià)值

爬蟲的價(jià)值本質(zhì)就是獲取數(shù)據(jù)的價(jià)值. 數(shù)據(jù)的價(jià)值越高, 爬蟲的價(jià)值越高

• 數(shù)據(jù)的價(jià)值: 一切皆為數(shù)據(jù)
• 例如: 獲取到了大量的用戶信息(基本信息, 購物信息, 瀏覽信息):
  • 廣告推薦 用戶行為分析(用戶畫像)
• 例如: 獲取到了大量的商品的信息(基本信息, 價(jià)格):
  • 比價(jià)網(wǎng)

?

3、爬蟲的分類

常見分類有兩種:

• 通用爬蟲: 指的獲取互聯(lián)網(wǎng)中所有的數(shù)據(jù), 不局限于網(wǎng)站, 行業(yè), 分類
• 百度 谷歌
• 垂直爬蟲: 指的獲取互聯(lián)網(wǎng)中某一個(gè)網(wǎng)站, 某一個(gè)行業(yè), 某一個(gè)分類下的數(shù)據(jù)
• 慢慢買 筆趣閣

實(shí)際開發(fā)中: 一般書寫那種爬蟲

? 垂直爬蟲(數(shù)據(jù)分析處理)

4、爬蟲的開發(fā)流程

爬蟲的執(zhí)行流程:

• 確定首頁URL
• 發(fā)送請求, 獲取數(shù)據(jù)
• 解析數(shù)據(jù)
• 保存數(shù)據(jù)

?

?

?

總結(jié)

以上是生活随笔為你收集整理的爬虫 spider01——基本概念的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。