好的網(wǎng)絡(luò)爬蟲(chóng), 首先需要遵守Robots協(xié)議, Robots協(xié)議:也稱為爬蟲(chóng)協(xié)議,機(jī)器人協(xié)議, 全稱是"網(wǎng)絡(luò)爬蟲(chóng)排除標(biāo)準(zhǔn)", 通過(guò)Robots協(xié)議高速搜索引擎哪些頁(yè)面可以抓取,哪些頁(yè)面不能抓取

在網(wǎng)站根目錄下放一個(gè)robots.txt文本文件（如https://www.taobao.com/robots.txt），里面可以指定不同的網(wǎng)絡(luò)爬蟲(chóng)能訪問(wèn)的頁(yè)面和禁止訪問(wèn)的頁(yè)面，指定的頁(yè)面由正則表達(dá)式表示。網(wǎng)絡(luò)爬蟲(chóng)在采集這個(gè)網(wǎng)站之前，首先獲取到這個(gè)robots.txt文本文件，然后解析到其中的規(guī)則，然后根據(jù)規(guī)則來(lái)采集網(wǎng)站的數(shù)據(jù)。

1. Robots協(xié)議規(guī)則

注意: 一個(gè)英文要大寫(xiě)，冒號(hào)是英文狀態(tài)下，冒號(hào)后面有一個(gè)空格，"/"代表整個(gè)網(wǎng)站

2. Robots協(xié)議舉例

禁止所有機(jī)器人訪問(wèn)
    User-agent: *
    Disallow: /
允許所有機(jī)器人訪問(wèn)
    User-agent: *
    Disallow: 
禁止特定機(jī)器人訪問(wèn)
    User-agent: BadBot
    Disallow: /
允許特定機(jī)器人訪問(wèn)
    User-agent: GoodBot
    Disallow: 
禁止訪問(wèn)特定目錄
    User-agent: *
    Disallow: /images/
僅允許訪問(wèn)特定目錄
    User-agent: *
    Allow: /images/
    Disallow: /
禁止訪問(wèn)特定文件
    User-agent: *
    Disallow: /*.html$
僅允許訪問(wèn)特定文件
    User-agent: *
    Allow: /*.html$
    Disallow: /


轉(zhuǎn)自: https://www.jianshu.com/p/2a1458eb3c23

總結(jié)

以上是生活随笔為你收集整理的Robots协议的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。