什么是nodeJs

Node.js 是一個基于 Chrome V8 引擎的 JavaScript 運行環境。Node.js 使用了一個事件驅動、非阻塞式 I/O 的模型，使其輕量又高效。Node.js 的包管理器 npm，是全球最大的開源庫生態系統。

開啟我們的第一個nodejs項目

首先可以去nodejs官網來下載nodejs并安裝http://nodejs.cn/。
安裝完成后,通過npm來安裝我們的express框架 npm install express --save。

//app.js //引入 `express` 模塊 var express = require('express');//調用 express 實例并將這個變量賦予 app 變量。 var app = express();// app 本身有很多方法，其中包括最常用的 get、post、put/patch、delete，在這里我們調用其中的 get 方法，為我們的 `/` 路徑指定一個 handler 函數。 // 這個 handler 函數會接收 req 和 res 兩個對象，他們分別是請求的 request 和 response。 // request 中包含了瀏覽器傳來的各種信息，比如 query 啊，body 啊，headers 啊之類的，都可以通過 req 對象訪問到。 // res 對象，我們一般不從里面取信息，而是通過它來定制我們向瀏覽器輸出的信息，比如 header 信息，比如想要向瀏覽器輸出的內容。這里我們調用了它的 #send 方法，向瀏覽器輸出一個字符串。 app.get('/',function(req,res){res.send('hello world'); })// 定義好我們 app 的行為之后，讓它監聽本地的 3000 端口。這里的第二個函數是個回調函數，會在 listen 動作成功后執行，我們這里執行了一個命令行輸出操作，告訴我們監聽動作已完成。 app.listen(3000, function () {console.log('app is listening at port 3000'); });

運行 node app.js 并且訪問http://localhost:3000/即可看到 hello world

爬蟲依賴

所謂 工欲善其事必先利其器，完成nodejs爬蟲還需要加兩個庫：
superagent(http://visionmedia.github.io/superagent/ ) 是個 http 方面的庫，可以發起 get 或 post 請求。
cheerio(https://github.com/cheeriojs/cheerio ) 大家可以理解成一個 Node.js 版的 jquery，用來從網頁中以 css selector 取數據，使用方式跟 jquery 一樣一樣的。
分別安裝npm install superagent --save npm install cheerio --save。

抓取抽屜新熱榜數據

先從簡單的開始，我們來以抽屜新熱榜為例子。訪問 http://dig.chouti.com/，通過瀏覽器的調試器來看抽屜的dom結構，可以看到.part2的類上有用于分享的屬性，我們就可以直接通過jquery的語法來讀取標題，圖片和超鏈接這幾個屬性

可以看到新熱榜數據都在 id為'content-list'的div中，于是我們展開content-list來繼續查看數據

發現有個class為'part2'的div里面有 share

app.js //引入 `express` 模塊 var express = require('express'); //引入 `superagent` 庫 var superagent = require('superagent'); //引入 `cheerio` 庫 var cheerio = require('cheerio'); //調用 express 實例并將這個變量賦予 app 變量。 var app = express();// app 本身有很多方法，其中包括最常用的 get、post、put/patch、delete，在這里我們調用其中的 get 方法，為我們的 `/` 路徑指定一個 handler 函數。 // 這個 handler 函數會接收 req 和 res 兩個對象，他們分別是請求的 request 和 response。 // request 中包含了瀏覽器傳來的各種信息，比如 query 啊，body 啊，headers 啊之類的，都可以通過 req 對象訪問到。 // res 對象，我們一般不從里面取信息，而是通過它來定制我們向瀏覽器輸出的信息，比如 header 信息，比如想要向瀏覽器輸出的內容。這里我們調用了它的 #send 方法，向瀏覽器輸出一個字符串。 app.get('/', function (req, res, next) {// 用 superagent 去抓取 http://dig.chouti.com/ 的內容superagent.get('http://dig.chouti.com/').end(function (err, sres) {// 常規的錯誤處理if (err) {return next(err);}// sres.text 里面存儲著網頁的 html 內容，將它傳給 cheerio.load 之后// 就可以得到一個實現了 jquery 接口的變量，我們習慣性地將它命名為 `$`// 剩下就都是 jquery 的內容了var $ = cheerio.load(sres.text);var items = [];$('#content-list .part2').each(function (idx, element) {var $element = $(element);items.push({title: $element.attr('share-title'),href: $element.attr('href'),img: $element.attr('share-pic')});});res.send(items);}); });// 定義好我們 app 的行為之后，讓它監聽本地的 3000 端口。這里的第二個函數是個回調函數，會在 listen 動作成功后執行，我們這里執行了一個命令行輸出操作，告訴我們監聽動作已完成。 app.listen(3000, function () {console.log('app is listening at port 3000'); });

運行 node app.js 訪問: http://localhost:3000/，可以看到抓取的數據直接以json格式顯示出來了。

總結

以上是生活随笔為你收集整理的nodejs爬虫实战（一）：抽屉新热榜的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。