準(zhǔn)備使用WebMagic實現(xiàn)爬取數(shù)據(jù)的功能。這里是一個比較完整的實現(xiàn)。

在這里我們實現(xiàn)的是聚焦網(wǎng)絡(luò)爬蟲，只爬取招聘的相關(guān)數(shù)據(jù)。

---

---

業(yè)務(wù)分析

今天要實現(xiàn)的是爬取https://www.51job.com/上的招聘信息。只爬取“計算機軟件”和“互聯(lián)網(wǎng)電子商務(wù)”兩個行業(yè)的信息

首先訪問頁面并搜索兩個行業(yè)。結(jié)果如下

點擊職位詳情頁，我們分析發(fā)現(xiàn)詳情頁還有一些數(shù)據(jù)需要抓取：

職位、公司名稱、工作地點、薪資、發(fā)布時間、職位信息、公司聯(lián)系方式、公司信息

---

---

---

---

數(shù)據(jù)庫表

CREATE TABLE `job_info` (`id` BIGINT(20) NOT NULL AUTO_INCREMENT COMMENT '主鍵id',`company_name` VARCHAR(100) DEFAULT NULL COMMENT '公司名稱',`company_addr` VARCHAR(200) DEFAULT NULL COMMENT '公司聯(lián)系方式',`company_info` TEXT COMMENT '公司信息',`job_name` VARCHAR(100) DEFAULT NULL COMMENT '職位名稱',`job_addr` VARCHAR(50) DEFAULT NULL COMMENT '工作地點',`job_info` TEXT COMMENT '職位信息',`salary_min` INT(10) DEFAULT NULL COMMENT '薪資范圍，最小',`salary_max` INT(10) DEFAULT NULL COMMENT '薪資范圍，最大',`url` VARCHAR(150) DEFAULT NULL COMMENT '招聘信息詳情頁',`time` VARCHAR(10) DEFAULT NULL COMMENT '職位最近發(fā)布時間',PRIMARY KEY (`id`) ) ENGINE=INNODB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 COMMENT='招聘信息';

---

---

實現(xiàn)流程

需要解析職位列表頁，獲取職位的詳情頁，再解析頁面獲取數(shù)據(jù)。

獲取url地址的流程如下

但是在這里有個問題：在解析頁面的時候，很可能會解析出相同的url地址(例如商品標(biāo)題和商品圖片超鏈接，而且url一樣)，如果不進行處理，同樣的url會解析處理多次，浪費資源。所以我們需要有一個url去重的功能

---

---

???????Scheduler組件

WebMagic提供了Scheduler可以幫助我們解決以上問題。

Scheduler是WebMagic中進行URL管理的組件。一般來說，Scheduler包括兩個作用：

• 對待抓取的URL隊列進行管理。

• 對已抓取的URL進行去重。

???????WebMagic內(nèi)置了幾個常用的Scheduler。如果你只是在本地執(zhí)行規(guī)模比較小的爬蟲，那么基本無需定制Scheduler，但是了解一下已經(jīng)提供的幾個Scheduler還是有意義的。

去重部分被單獨抽象成了一個接口：DuplicateRemover，從而可以為同一個Scheduler選擇不同的去重方式，以適應(yīng)不同的需要，目前提供了兩種去重方式。

RedisScheduler是使用Redis的set進行去重，其他的Scheduler默認(rèn)都使用HashSetDuplicateRemover來進行去重。

如果要使用BloomFilter，必須要加入以下依賴：

<!--WebMagic對布隆過濾器的支持--><dependency><groupId>com.google.guava</groupId><artifactId>guava</artifactId><version>16.0</version></dependency>

?

總結(jié)

以上是生活随笔為你收集整理的案例开发分析 || ​​​​​​​Scheduler组件的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。